Comment les biais algorithmiques dans les outils d'IA d'embauche peuvent reproduire la discrimination sur le lieu de travail

Les entreprises utilisent de plus en plus des logiciels basés sur l'apprentissage automatique pour examiner les CV, classer les candidats et même mener des entretiens précoces. Les chercheurs et les régulateurs ont découvert que plusieurs de ces systèmes produisent des résultats différents pour les candidats de genres, races ou âges différents, même lorsque les qualifications sous-jacentes sont identiques.

Qu'est-ce que le biais algorithmique en matière d'embauche ?

Le biais algorithmique se produit lorsque les résultats d'un système d'apprentissage automatique favorisent ou désavantagent systématiquement certains groupes, indépendamment des qualifications pertinentes pour l'emploi. Les commentaires publics sur un projet de norme de l'Institut national des normes et de la technologie (NIST) des États-Unis, SP 1270, 'Vers une norme pour identifier et gérer les biais dans l'intelligence artificielle', publié sur le site Web du NIST, décrivent cela comme un problème socio-technique : le biais peut entrer non seulement par la conception statistique d'un algorithme, mais aussi par les données historiques sur lesquelles il est formé et le contexte humain et institutionnel dans lequel il est déployé.

En matière d'embauche spécifiquement, un modèle est généralement formé sur les CV antérieurs, les décisions d'embauche antérieures ou le texte généré par un modèle de langage de grande taille (LLM). Si la main-d'œuvre qui a produit ces données historiques était elle-même biaisée par le genre, la race ou l'âge — une caractéristique courante dans de nombreux secteurs — le modèle peut apprendre à reproduire ce biais comme s'il s'agissait d'une mesure de mérite.

Un cas documenté : le moteur de recrutement supprimé d'Amazon

L'un des exemples les plus anciens et les plus cités concerne un outil de recrutement expérimental qu'Amazon a construit à partir de 2014 pour noter les candidats à un emploi de une à cinq étoiles, selon l'Union américaine pour les libertés civiles (ACLU). Le système a été formé en observant les modèles dans les CV que l'entreprise avait reçus au cours d'environ une décennie, un ensemble qui était écrasamment masculin, reflétant la domination masculine dans les rôles techniques impliqués.

L'ACLU rapporte que l'outil pénalisait les CV contenant le mot 'femmes' — par exemple, 'équipe de rugby féminine' — et rabaissait les diplômés de deux universités exclusivement féminines, tout en favorisant les CV qui utilisaient des verbes plus courants dans les CV techniques masculins, tels que 'exécuté' et 'capturé.' Les ingénieurs d'Amazon ont tenté de corriger le modèle, mais, selon le compte rendu de l'ACLU sur le projet, ils ont conclu que le problème sous-jacent ne pouvait pas être garanti et ont fermé l'outil en 2015, environ un an après qu'il ait commencé à être testé.

Ce que la recherche récente sur le filtrage des CV par IA a trouvé

Des recherches plus récentes ont testé les modèles de langage de grande taille maintenant intégrés dans de nombreux produits commerciaux d'embauche. Une étude de l'Université de Washington présentée en octobre 2024 à la Conférence AAAI/ACM sur l'intelligence artificielle, l'éthique et la société a testé trois LLM open-source — de Mistral AI, Salesforce et Contextual AI — en attribuant 120 noms associés à des hommes et des femmes blancs et noirs à plus de 550 CV réels et les classant par rapport à plus de 500 offres d'emploi réelles dans neuf professions, produisant plus de trois millions de comparaisons CV-emploi.

L'auteure principale Kyra Wilson et la coauteure Aylin Caliskan, toutes deux de l'Université de Washington's Information School, ont découvert que les CV avec des noms associés aux blancs ont été favorisés 85% du temps par rapport à 9% pour les noms associés aux noirs, et les noms associés aux hommes ont été préférés 52% du temps par rapport à 11% pour les noms associés aux femmes. Les modèles n'ont jamais favorisé les noms associés aux hommes noirs par rapport aux noms d'hommes blancs, un modèle que les chercheurs ont dit devenir visible uniquement lorsque la race et le genre ont été analysés ensemble plutôt que séparément.

Principales conclusions en un coup d'œil

Comment fonctionne le mécanisme du biais

Dans chaque cas documenté, le modèle remonte aux données d'entraînement ou aux associations que le modèle a absorbées du texte sur lequel il a été formé, plutôt qu'à une instruction explicite de discriminer. L'outil d'Amazon a appris à partir d'un pool de candidats historiquement masculin. Les LLM testés par des chercheurs de l'Université de Washington portaient des associations de genre et de race basées sur les noms du corpus de texte plus large sur lequel ils ont été formés.

Les commentaires sur le projet de norme sur le biais du NIST notent que parce que ces systèmes fonctionnent dans des structures sociales et institutionnelles existantes, supprimer le biais de l'ensemble de données seul ne garantit pas un résultat équitable — une conclusion qui correspond à l'expérience propre d'Amazon, telle que décrite par l'ACLU, lorsque les tentatives répétées de correction des ingénieurs n'ont pas réussi à résoudre le modèle sous-jacent.

Comment les régulateurs réagissent

La loi locale 144 de New York, appliquée par le Département de la protection des consommateurs et des travailleurs depuis juillet 2023, exige que les employeurs utilisant un 'outil automatisé de prise de décision en matière d'emploi' pour l'embauche ou la promotion mandatent un audit de biais indépendant annuel, affichent publiquement un résumé des résultats de l'audit et donnent aux candidats au moins dix jours ouvrables de préavis avant que l'outil ne soit utilisé, selon le résumé de la mesure du cabinet juridique Pivot Point Security. Les violations peuvent entraîner des pénalités civiles allant de 500 $ à 1 500 $ par violation, selon le même résumé.

Le Conseil des droits civils de la Californie a adopté de nouveaux règlements en vertu de la Loi sur le logement et l'emploi équitables de l'État, en vigueur à partir du 1er octobre 2025, clarifiant que l'utilisation par un employeur d'un 'système automatisé de prise de décision' peut violer la loi de l'État si elle nuit aux candidats ou aux employés en fonction de caractéristiques protégées telles que la race, le genre ou le handicap, selon l'annonce du Conseil de juin 2025. Les règlements exigent que les employeurs conservent les données de décision automatisées pendant au moins quatre ans et notent que certaines évaluations automatisées sollicitant des informations liées au handicap peuvent compter comme des questions médicales illégales.

Ce que cela signifie pour les demandeurs d'emploi et les employeurs

• Le biais trouvé dans l'IA d'embauche à ce jour a suivi les modèles sociaux existants dans les données d'entraînement — CV historiques, images en ligne ou texte à usage général — plutôt que d'apparaître au hasard.
• Les effets documentés incluent favoriser les CV de groupes démographiques historiquement dominants et produire des résultats systématiquement différents pour des qualifications sous-jacentes identiques.
• New York et la Californie imposent désormais des obligations légales spécifiques — audits, conservation des dossiers ou les deux — aux employeurs utilisant ces outils, bien que les exigences varient selon la juridiction.
• Les chercheurs de l'Université de Washington disent que le biais identifié dans une catégorie démographique (par exemple, la race seule) peut masquer des effets différents visibles uniquement lorsque les catégories sont combinées, comme la race et le genre ensemble.