Jak tendencyjność algorytmiczna w narzędziach AI do rekrutacji może powielać dyskryminację w miejscu pracy

Firmy coraz częściej korzystają z oprogramowania zbudowanego na uczeniu maszynowym do sprawdzania CV, rankingowania kandydatów, a nawet prowadzenia wczesnych etapów rozmów kwalifikacyjnych. Naukowcy i regulatorzy ustalili, że kilka z tych systemów daje różne wyniki dla kandydatów różnych płci, ras lub wieku, nawet gdy ich kwalifikacje są identyczne.

Czym jest tendencyjność algorytmiczna w rekrutacji?

Tendencyjność algorytmiczna występuje, gdy wyniki systemu uczenia maszynowego systematycznie faworyzują lub dyskryminują określone grupy, niezależnie od kwalifikacji istotnych dla pracy. Publiczne komentarze do projektów standardu Narodowego Instytutu Standaryzacji i Technologii (NIST) w USA, SP 1270, "W kierunku standardu identyfikacji i zarządzania tendencyjnością w sztucznej inteligencji", opublikowane na stronie internetowej NIST, opisują to jako problem socjotechniczny: tendencyjność może wejść nie tylko poprzez statystyczne projektowanie algorytmu, ale poprzez dane historyczne, na których jest on trenowany, oraz kontekst ludzki i instytucjonalny, w którym jest wdrażany.

W rekrutacji w szczególności model jest zwykle trenowany na przeszłych CV, przeszłych decyzjach rekrutacyjnych lub tekście generowanym przez duży model językowy (LLM). Jeśli siła robocza, która wytworzyła te historyczne dane, była sama przekrzywiona ze względu na płeć, rasę lub wiek — cecha wspólna wielu branż — model może nauczyć się powielać to przekrzywienie, tak jakby był to miernik umiejętności.

Udokumentowany przypadek: porzucone narzędzie rekrutacyjne Amazonu

Jeden z najwcześniejszych i najczęściej cytowanych przykładów dotyczy eksperymentalnego narzędzia rekrutacyjnego, które Amazon zaczął budować od 2014 roku, aby ocenić kandydatów na stanowiska od jednej do pięciu gwiazdek, zgodnie z American Civil Liberties Union (ACLU). System został wytrenowany poprzez obserwację wzorców w CV, które firma otrzymała przez mniej więcej dekadę, pulę, która była zdecydowanie zdominowana przez mężczyzn, odzwierciedlając dominację mężczyzn w danego rodzaju rolach technicznych.

ACLU informuje, że narzędzie penalizowało CV zawierające słowo "kobiet" — na przykład "zespół rugby kobiet" — i obniżało ocenę absolwentek dwóch szkół wyższych tylko dla kobiet, jednocześnie faworyzując CV, które używały czasowników bardziej rozpowszechnionych w męskich technicznych CV, takich jak "executed" i "captured". Inżynierowie Amazonu próbowali naprawić ten wzorzec, ale, zgodnie z relacją ACLU o sprawozdaniu z projektu, doszli do wniosku, że problem nie może być gwarantowany i zamknęli narzędzie w 2015 roku, mniej więcej rok po tym, jak zaczęto je testować.

Co wykazały niedawne badania AI w przeszukiwaniu CV

Nowsze badania testowały duże modele językowe teraz wbudowane w wiele komercyjnych produktów rekrutacyjnych. Badanie Uniwersytetu Waszyngtonu zaprezentowane w październiku 2024 roku na konferencji AAAI/ACM na temat sztucznej inteligencji, etyki i społeczeństwa testowało trzy modele LLM typu open-source — od Mistral AI, Salesforce i Contextual AI — poprzez przypisanie 120 imion związanych z białymi i czarnymi mężczyznami i kobietami do ponad 550 rzeczywistych CV i ranking ich względem ponad 500 rzeczywistych ogłoszeń o pracę w dziewięciu zawodach, wytwarzając ponad trzy miliony porównań CV do pracy.

Główna autorka Kyra Wilson i współautorka Aylin Caliskan, obie z School of Information Uniwersytetu Waszyngtonu, odkryły, że CV z imionami związanymi z białymi ludźmi były faworyzowane w 85% czasu w porównaniu z 9% dla imion związanych z czarnymi ludźmi, a imiona związane z mężczyznami były preferowane w 52% czasu w porównaniu z 11% dla imion związanych z kobietami. Modele nigdy nie faworyzowały imion związanych z czarnymi mężczyznami nad białymi mężczyznami, wzorzec który, jak mówili badacze, stał się widoczny dopiero, gdy rasę i płeć analizowano razem, a nie osobno.

Kluczowe ustalenia w skrócie

Jak działa mechanizm tendencyjności

W każdym udokumentowanym przypadku wzorzec sięga do danych treningowych lub skojarzeń, które model pochłonął z tekstu, na którym został wytrenowany, a nie do wyraźnego polecenia dyskryminacji. Narzędzie Amazonu uczyło się z historycznie męskiej puli kandydatów. Modele LLM przetestowane przez naukowców z Uniwersytetu Waszyngtonu przeniosły skojarzone z imionami asocjacje rasowe i płciowe z szerszych korpusów tekstowych, na których były trenowane.

Komentarze do projektu standardu NIST zauważają, że ponieważ systemy te działają w ramach istniejących struktur społecznych i instytucjonalnych, usunięcie tendencyjności samego z zestawu danych nie gwarantuje uczciwego wyniku — wniosek, który zgadza się z własnym doświadczeniem Amazonu, zgodnie z relacją ACLU, gdy powtarzające się poprawki inżynierów nie zdołały rozwiązać bazowego wzorca.

Jak reagują regulatorzy

Lokalne Prawo nr 144 Nowego Jorku, egzekwowane przez Departament Ochrony Konsumentów i Pracowników od lipca 2023 roku, wymaga od pracodawców korzystających z "zautomatyzowanego narzędzia do podejmowania decyzji zatrudnieniowych" przy zatrudnieniu lub awansie zlecenia niezależnego audytu tendencyjności corocznie, publicznego ogłoszenia podsumowania wyników audytu i powiadomienia kandydatów co najmniej dziesięć dni roboczych przed użyciem narzędzia, zgodnie z podsumowaniem środków dostarczonym przez kancelarię prawną Pivot Point Security. Naruszenia mogą prowadzić do kar cywilnych w wysokości od 500 do 1500 dolarów za naruszenie, zgodnie z tym samym podsumowaniem.

Rada ds. Praw Obywatelskich Kalifornii przyjęła nowe przepisy zgodnie z ustawą stanową o uczciwym zatrudnieniu i ochronie mieszkaniowej, wchodzące w życie 1 października 2025 roku, wyjaśniające, że wykorzystanie przez pracodawcę "zautomatyzowanego systemu podejmowania decyzji" może naruszać prawo stanowe, jeśli powoduje szkodę kandydatom lub pracownikom na podstawie chronionych cech, takich jak rasa, płeć lub niepełnosprawność, zgodnie z własnym ogłoszeniem Rady z czerwca 2025 roku. Przepisy wymagają od pracodawców przechowywania danych zautomatyzowanego podejmowania decyzji przez co najmniej cztery lata i zauważają, że niektóre zautomatyzowane oceny wymagające informacji związanych z niepełnosprawnością mogą być uważane za bezprawne pytania medyczne.

Co to oznacza dla kandydatów do pracy i pracodawców

• Tendencyjność znaleziona w AI rekrutacyjnym do tej pory śledzili istniejące wzorce społeczne w danych treningowych — historyczne CV, obrazy online lub tekst ogólnego przeznaczenia — a nie pojawiały się losowo.
• Udokumentowane efekty obejmują faworyzowanie CV z historycznie dominujących grup demograficznych i wytwarzanie systematycznie różnych wyników dla identycznych podstawowych kwalifikacji.
• Nowy Jork i Kalifornia teraz nakładają specyficzne zobowiązania prawne — audyty, przechowywanie danych lub oba — na pracodawców korzystających z tych narzędzi, chociaż wymagania różnią się w zależności od jurysdykcji.
• Naukowcy z Uniwersytetu Waszyngtonu mówią, że tendencyjność zidentyfikowana w jednej kategorii demograficznej (np. tylko rasa) może maskować różne efekty widoczne tylko, gdy kategorie są łączone, takie jak rasa i płeć razem.