Comment les algorithmes d'IA développent des biais et quelles protections existent pour les arrêter

Les systèmes d'intelligence artificielle sont de plus en plus utilisés pour filtrer les candidats à l'emploi, évaluer les demandes de prêt, modérer le contenu en ligne et signaler les suspects à la police. Lorsque ces systèmes produisent des résultats systématiquement inégaux pour des groupes particuliers, les chercheurs et les régulateurs appellent le résultat un biais algorithmique. La question de la façon dont ce biais se forme et de ce qu'on peut faire à ce sujet a quitté les articles académiques pour les salles de réunion des entreprises et les législatures.

D'où vient le biais

Un rapport de 2022 de l'Institut national des normes et de la technologie (NIST) des États-Unis, intitulé Special Publication 1270, a conclu que le biais de l'IA n'est pas seulement un problème de données. Les auteurs du rapport identifient trois sources distinctes de biais dans les systèmes d'IA.

• Biais informatique et statistique — découlant de données d'entraînement ou d'algorithmes qui ne sont pas représentatifs de la population que le système affectera.
• Biais humain — introduit lorsque les concepteurs, les annotateurs ou les utilisateurs appliquent des informations incomplètes ou des stéréotypes lors de la construction ou de l'utilisation du système.
• Biais systémique — pratiques institutionnelles existantes et inégalités historiques qui sont codées dans un système simplement parce qu'elles sont présentes dans les dossiers à partir desquels il apprend.

Reva Schwartz, investigatrice principale du NIST, a déclaré que les organisations ont souvent recours à des solutions techniques étroites qui ne capturent pas les biais provenant du contexte social plus large dans lequel l'IA est construite et déployée, selon le résumé que l'agence a fait du rapport.

Deux cas documentés

Amazon a construit un outil de présélection de CV expérimental à partir de 2014, l'entraînant sur environ une décennie de CV que l'entreprise avait reçus. Parce que le secteur technologique a historiquement employé beaucoup plus d'hommes que de femmes, la majorité de ces CV d'entraînement provenaient de candidats hommes. Selon des reportages de MIT Technology Review, le système a appris à lui-même à pénaliser les CV contenant le mot « women's » et a rétrogradé les diplômés de deux universités réservées aux femmes. Les ingénieurs d'Amazon ont tenté de corriger le modèle, mais en 2017, l'entreprise avait perdu confiance dans le fait que l'outil était neutre sur le plan du genre dans d'autres domaines et a cessé de l'utiliser.

Une étude séparée de 2018 appelée Gender Shades, menée par Joy Buolamwini du MIT Media Lab et Timnit Gebru, alors à Microsoft Research, a testé trois systèmes commerciaux d'analyse faciale sur un ensemble de données de plus de 1.200 images classées par teinte de peau en utilisant l'échelle de Fitzpatrick. Selon le résumé des résultats par MIT News, les taux d'erreur pour les hommes à peau plus claire ne dépassaient jamais 0,8%, tandis que les taux d'erreur pour les femmes à peau plus foncée variaient de 20,8% à 34,7%, atteignant jusqu'à 46,8% pour les femmes à peau la plus foncée dans un système.

Quelles protections existent

La loi sur l'IA de l'Union européenne, formellement le Règlement (UE) 2024/1689, est entrée en vigueur le 1er août 2024, et est décrite par la Commission européenne comme le premier cadre juridique complet pour l'IA au monde. Pour les systèmes classés comme à haut risque —notamment ceux utilisés dans l'emploi, l'éducation et l'identification biométrique— le règlement exige que les fournisseurs utilisent des données d'entraînement, de validation et de test de qualité suffisante pour minimiser le risque de résultats discriminatoires, et qu'ils mettent en place des mesures d'évaluation et d'atténuation des risques avant que le système n'arrive sur le marché, selon la description de la Commission. La Commission déclare que les obligations pour les systèmes à haut risque utilisés dans les domaines sensibles comme l'emploi et la biométrie deviennent applicables le 2 décembre 2027, avec des règles pour l'IA intégrée aux produits réglementés suivant le 2 août 2028.

Aux États-Unis, la propre réponse du NIST à ses conclusions sur les biais a été de recommander une approche « socio-technique » : aborder les biais humains et systémiques aux côtés du biais informatique en faisant appel à des experts en dehors de l'ingénierie et en consultant les communautés affectées, plutôt que de dépendre uniquement de solutions techniques, selon le résumé du rapport de l'agence.

Pourquoi c'est important maintenant

Les plateformes d'embauche, les outils d'évaluation du crédit et les systèmes de modération de contenu sont maintenant courants dans de nombreux secteurs, ce qui signifie que les types d'erreurs documentés dans les cas d'Amazon et Gender Shades peuvent affecter un grand nombre de personnes avant que quelqu'un ne remarque un modèle. Les délais échelonnés de la loi sur l'IA de l'UE jusqu'en 2028, et les conseils continus du NIST sur la gestion des biais, indiquent que la surveillance de ces systèmes est encore en cours de mise en place plutôt que déjà achevée.