Empêcher l'intelligence artificielle de discriminer les femmes

L’intelligence artificielle peut-elle pénaliser les femmes et d’une façon générale pratiquer la discrimination ? La réponse est moins simple que l’on ne pourrait le penser.

Parce que modelée par des êtres humains, l’intelligence artificielle peut reproduire leurs biais dans de nombreux domaines, mais peut même en inventer de nouveaux pour peu qu’on l’éduque mal.

Prenons un exemple concret : celui de l’assistance au recrutement. Il est tellement facile de postuler en ligne à des centaines de postes chaque jour que les entreprises se retrouvent submergées par les candidatures, mais pas forcément submergées par de bonnes candidatures, pour autant.

C’est l’une des raisons qui poussent les grandes entreprises et les GAFA à demander à l’IA de réaliser des tris des candidats et le problème est que si l’algorithme (de machine learning, normalement) est mal entraîné, si les données d’entraînement sont biaisées, il risque de reproduire ou de créer des biais, c’est-à-dire défavoriser certains candidats en se fondant sur des critères « injustes » comme le sexe/genre.

L'assistant de recrutement d'Amazon a discriminé les femmes

Cela n'est pas un cas de figure abstrait puisqu'Amazon a été contraint de ne plus utilise l'assistant de recrutement qu'il testait depuis mi 2017, parce qu'il discriminait les femmes.

Empêcher l'intelligence artificielle de discriminer les femmes

La façon classique actuellement d’aborder ce type de problèmes est qu’il faut, donc s’assurer de créer des modèles (de Machine Learning) qui donnent leur chance aux femmes comme aux hommes, par exemple.

Ce biais provient techniquement du fait que comme ces familles de modèles sont entraînés sur des données historiques de recrutement qui ont (dans un certain nombre de cas) favorisé les hommes, les modèles risquent de reproduire le comportement des recruteurs historiques ayant potentiellement défavorisé les femmes que ce soit au niveau de la probabilité de recrutement comme de la rémunération.

Et alors, les modèles sont biaisés, parce que le modèle créé intègre la donnée « sexe/genre » dans ses paramètres sans qu’on lui ait explicitement demandé. Mais attention, l'une des difficultés du problème est qu'il n’est pas certain que l’algorithme reproduise ces comportements discriminants même si on lui fournit des données d’entrainement favorisant les hommes car il est possible que les corrélations qui permettent à l’algorithme de machine learning de distinguer un bon candidat d’un mauvais, n’aient rien à voir avec le sexe ou soient très peu liées au sexe. Dans ce cas, on peut imaginer créer un modèle de pré-sélection non discriminant alors qu'historiquement, l'entreprise a discriminé. C'est un peu technique, mais retenons qu'un algorithme peut aussi ne pas discriminer même si on lui a donné un jeu de données historiques avec discrimination.

Mais imaginons que, pour l’exercice, l'algorithme discrimine.

Voici différentes approches pour corriger et obtenir un modèle non discriminant:

• On peut modifier l’échantillonnage des jeux de données d’entraînement, en surreprésentant les candidates ayant été embauchées de façon à ce qu’à la fin, le modèle sortent autant de recommandations positives pour des candidates que pour des candidats
• On peut éliminer le sexe des features des jeux d’entrainement de données afin d’empêcher l’algorithme de tenir compte du sexe. Dans la pratique, il se peut suivant l’algorithme choisi et l’expert qui l’entraîne, que l’algorithme reproduise quand même des biais (par exemple, en identifiant les femmes sans qu’on lui demande, à partir de leurs activités (Yoga, scrapbooking, par exemple) et en déduisant que les candidat.e.s qui pratiquent ces activités (présumées davantage pratiquées par les femmes), soient moins souhaitables que les autres (pratiquant des activités d’hommes).

En réalité, si l’on parle discrimination, une entreprise ne peut se limiter à traiter uniquement les biais liés au sexe, sauf si l’unique but de la manœuvre est uniquement à s’éviter les foudres des féministes.

Il faut aussi traiter les biais liés à l’origine géographique (qui pénaliserait, par exemples les gens du département 93, la Seine-Saint-Denis), ethniques, mais aussi, je pense des éléments tels que les diplômes (si une entreprise n’a historiquement recruté que des X-telecoms, l’algo risque d’être tenté de recommander des X-telecoms).

L’ultime tabou à traiter consisterait même à s’attaquer à la discrimination sur l’âge (il est évidement interdit de discriminer sur l’âge mais de nombreuses entreprises le font) et paradoxalement, c’est probablement l’élément sur lequel bloqueraient les gens qui seraient les plus prompts à éliminer les biais au sexe (la parité homme femme est quasi devenu un impératif politique, alors que l’âge ne l’est pas… et ne le sera pas jusqu’à ce qu’il y ait un hashtag #tooOLD pour les seniors éjectés de leur emploi).

Mais parvenir à créer des systèmes de recommandations qui ne discriminent pas les femmes, les minorités… ne constitue qu’une partie du problème. Ne pas discriminer est une chose. Etre à même de le prouver vis-à-vis aux tiers en est une autre.

On parle alors, en jargon technique, d’intelligence artificielle explicable et ou d’explicabilité des recommandations/décisions prises par l’IA. En jargon juridique, ces concepts rejoindrait ceux de transparence algorithmique.

Dans le domaine de l’assistance au recrutement qui sert de fil rouge à notre réflexion, il y a au moins trois autres considérations à prendre en compte.

L’explicabilité des algorithmes vis-à-vis des recruteurs

Une fois, les algorithmes « non discriminants » entraînés et les modèles correspondants créés, les entreprises se trouvent confrontées à des freins humains, ces imbéciles d’êtres humains refusant de faire aveuglément confiance à la machine qui leur fournit des recommandations sans en expliquer les fondements. Ce problème sera résolu une bonne fois pour toutes les humains de la chaîne du recrutement, il va falloir prendre tenir compte de ce qu’ils exigent pour accepter de collaborer avec l’intelligence artificielle et c’est pourquoi certaines entreprise sont donc, obligées de mettre en place des démarches d’explicabilité afin de dégager les principaux critères qui ont conduit la machine à formuler une recommandation. Il s’agit un chantier technique à part entière, relativement difficile, puisque, par définition, le machine learning rend ses décisions sans en indiquer les raisons.

Sans ce travail d’explicabilité, les humains sont beaucoup moins enclins à travailler main dans la main avec la machine.

L’explicabilité vis-à-vis du candidats

Progressivement la loi demande de plus en plus aux entreprises ou administrations recourant aux décisions algorithmiques de  motiver les décisions prises en expliquant le fonctionnement de l’algorithme.

Les banques seront obligées par exemple, de justifier le refus d’un crédit par exemple.

Cela deviendra aussi un sujet pour le recrutement.

Corollaire de cela, on peut imaginer que l’absence d’explicabilité expose les recruteurs à un risque juridique, celui, par exemple, de poursuite pour « discrimination algorithmique » par un candidat qui estimerait avoir été injustement recalé à cause de la machine.

Le concept d'explicabilité concerne surtout le machine learning

• La discrimination, les biais et le sujet de l’explicabilité, ne concerne beaucoup plus les formes à la mode de l’IA (le Machine Learning et ses cousins le Deep learning et les réseaux neuronaux)

La majorité des spécialistes (de le dernière heure) de l’IA pense que [Machine Learning] égale [IA] et aussi que l’IA permettra de tout automatiser/de remplacer l’homme dans toutes les tâches.

Je fais partie de la minorité qui pense que le machine learning n’aura que des applications limitées dans la mesure où il n’est capable de résoudre que des problèmes spécifiquement adaptés aux caractéristiques du Machine learning (disponibilité de données en quantité suffisante, en qualité suffisante, disponibilité d’algorithmes capable de faire dire à la donnée ce que l’on en attend à partir des données dispos…). Limité ne signifie pas inutile. Le machine learning produit des résultats quasi magiques dans un certain nombre de domaines.

Et formulé autrement, je pense que la vieille IA (ou IA symbolique qui reposent sur des règles connues, claires, définies par des humains et non pas sur de complexes paramètres d’équations statistiques) n’a pas dit son dernier mot et qu’elle est même plus efficace que le machine learning dans un certain nombre de cas, voir actuellement la seule solution dans certain cas : si une entreprise souhaite recruter un haut dirigeant, par exemple,  elle ne pourra rentrer les milliers de cas de recrutements de hauts dirigeants réussis dans l’entreprise ou des entreprises comparables, pour entraîner l’algorithme de ML à reconnaître un bon candidat à la direction, alors que l’IA symbolique d’un cabinet de recrutement pourrait via une centaine de règles fines, édictées par un chasseur de haut dirigeant avec 20 ans d’expérience), y parvenir.

Le rapport entre l’IA symbolique et la discrimination au recrutement ? En IA symbolique, c’est l’expert.e du recrutement qui crée les règles de l’algorithme et il peut donc éliminer la prise en compte du sexe et tout ce qui s’en rapprocherait. Voir il peut même faire de la discrimination positive envers les femmes, s’il a des quota à respecter.

Au-delà de cela, l’IA symbolique + le Machine Learning ne seront pas à même de résoudre tous les défis de l’IA. L’auteur de cet article prédit qu’il y aura au moins 4 ou 5 approches totalement différentes d’IA qui émergeront dans les 5 prochaines années (4 ou 5 car le machine learning résoudrait 5% au maximum des dits défis, l’IA symbolique encore 5% ce qui nous amène à à peine 10% des défis et si nous mettons au point 5 nouvelles approches de l’IA, nous relèverons 30% des défis, les 70% des défis restants (aka l’intelligence artificielle forte) paraissant encore très, très lointains. Pourquoi 5% pour chaque forme d’intelligence artificielle  et pas 3% ou 7% ? Il n’y a évidemment pas de démarche scientifique derrière ces estimations, mais juste une évaluation rapide de ce que sait faire l’intelligence artificielle 60 ans après son invention : en recoupant les estimations hasardeuses des chercheurs en pointe dans le domaine, on arrive à un chiffre de 1% ou 2% de l’intelligence humaine qui parviendrait à être simulée par l’IA. Attendu que la recherche avance de nouveau à grande vitesse et que jamais on a autant investi dans l’IA, on peut prévoir des avancées rapides, mais pas exponentielles. D’où le chiffre très approximatif de 5%.

Mais ce chiffre revêt peu d’importance eu égard au problème de très court terme qu’est l’explicabilité des décisions des assistants de recrutement.

Lorsque l’on avance sur le sujet de l’explicabilité, on sent rapidement qu’il a un sous-jacent : la suspicion de décisions inéquitables de l’intelligence artificielle. Suspicion émanant non de ceux qui ont entraîné l’IA et créé les modèles, mais des tiers.

Mais comment ces tiers, peuvent-ils parvenir à démontrer de l’extérieur, que l’assistant au recrutement a pris une décision en s’appuyant sur des critères non autorisés par la loi ou non éthiques, alors que même les concepteurs de l’assistant peuvent rencontrer de sérieuses difficultés à y arriver ?

Ils peuvent le faire en recourant à une démarche de reverse engineering.

Le reverse engineering appliqué au machine learning dans le domaine du recrutement.

Le reverse enginerring consiste en général à essayer de décoder le fonctionnement d’un système ou d’une machine à partir de l’observation.

Par exemple, les référenceurs ont fini par comprendre le fonctionnement de l’algorithme de Google via du reverse engineering.

Les amateurs en référencement naturel acceptent sans douter ce que leur disent les gourous du fonctionnement de l’algorithme de Google, aussi longtemps que ces derniers recourent à un discours et une démarche pseudo scientifique. Mais les réels experts du référencement naturel passent une partie non négligeable de leur temps à réaliser des tests pour valider les hypothèses émises, mais non démontrées par les gourous, mais aussi des hypothèses originales, inédites. Ils le font en réalisant une poignée de tests puis essaient de reproduire les effets de leurs tests en réalisant des centaines de tests supplémentaires. Si leur hypothèse sont validées dans ces centaines de tests, il estiment que leur hypothèse est juste. Ils font donc, du reverse engineering.

Pour démontrer que l’algorithme d’assistance au recrutement discrimine, il faudra probablement recourir à une démarche de reverse engineering des algorithmes d’assistance au recrutement u et réaliser des centaines de tests. Mais ce sera beaucoup plus problématique à faire. Réaliser un test en référencement naturel, c’est mettre en ligne ces centaines de pages web et voir si elles parviennent à se positionner. Réaliser un test en recrutement, c’est créer et envoyer des CVs, des profils Linkedin, puis observer les effets, relativement simples au niveau de la pré-sélection (réponse ou pas, convocation ou pas à un entretien d’embauche). Mais pour l’étape suivante (entretien d’embauche et analyse de la décision de recrutement réelle), le reverse engineering sera plus difficile à mettre en œuvre, attendu qu’il sera difficile d’envoyer des centaines de candidat.e.s à l’entretien dans le cadre du test.

Il sera donc très difficile pour une personne extérieure à la société qui recrute de mettre en évidence qu’un algorithme effectue globalement une discrimination sur le sexe.

Vous n'avez pas envie d'être discriminé par l'intelligence artificielle ? Vous devez en connaître les plus fins rouages. Alors, ne tardez plus, rejoignez la révolution de l’intelligence artificielle, prenez votre premier cours d’intelligence artificielle avec 24pm academy et inscrivez-vous à la formation en ligne à l’intelligence artificielle.