Hoe AI-algoritmen vooringenomenheid ontwikkelen en welke waarborgen er zijn om het tegen te gaan

Kunstmatige-intelligenssystemen worden steeds vaker gebruikt om sollicitaties te screenen, leningaanvragen te beoordelen, online inhoud te modereren en verdachten voor de politie aan te merken. Wanneer deze systemen systematisch ongelijke resultaten voor bepaalde groepen opleveren, noemen onderzoekers en toezichthouders het resultaat algoritmische voorgespannenheid. De vraag hoe die voorgespannenheid ontstaat en wat eraan gedaan kan worden, is van wetenschappelijke artikelen naar directiekarners en wetgevers verhuisd.

Waar de voorgespannenheid vandaan komt

Een rapport uit 2022 van het U.S. National Institute of Standards and Technology (NIST), getiteld Special Publication 1270, concludeerde dat AI-voorgespannenheid niet alleen een dataprobleem is. De auteurs van het rapport identificeren drie verschillende bronnen van voorgespannenheid in AI-systemen.

• Computationele en statistische voorgespannenheid – voortvloeiend uit trainingsgegevens of algoritmes die niet representatief zijn voor de bevolking die het systeem zal beïnvloeden.
• Menselijke voorgespannenheid – geïntroduceerd wanneer ontwerpers, annotatoren of gebruikers onvolledige informatie of stereotypen toepassen bij het bouwen of bedrijven van het systeem.
• Systemische voorgespannenheid – bestaande institutionele praktijken en historische ongelijkheid die in een systeem worden gecodeerd simpelweg omdat ze aanwezig zijn in de gegevens waarvan het leert.

NIST-onderzoeker Reva Schwartz zei dat organisaties vaak terugvallen op enge technische oplossingen die voorgespannenheid afkomstig uit de bredere maatschappelijke context waarin AI wordt gebouwd en ingezet, niet kunnen vastleggen, volgens de eigen samenvatting van het rapport door de organisatie.

Twee gedocumenteerde gevallen

Amazon bouwde vanaf 2014 een experimenteel cv-screeningtool en trainde het met ongeveer een decennium aan cv's dat het bedrijf had ontvangen. Omdat de technologiesector historisch gezien veel meer mannen dan vrouwen tewerkstelt, waren de meeste van deze trainingsgegevens van mannelijke sollicitanten afkomstig. Volgens verslagen van MIT Technology Review leerde het systeem zichzelf om cv's met het woord "vrouwen" te benadelen en waardeerde het afgestudeerden van twee vrouwen-alleen hogescholen af. Amazon-ingenieurs probeerden het patroon te corrigeren, maar in 2017 had het bedrijf het vertrouwen in de geslachtsneutraliteit van het hulpmiddel in ander opzicht verloren en stopte ermee het te gebruiken.

Een aparte studie uit 2018 genaamd Gender Shades, uitgevoerd door Joy Buolamwini van het MIT Media Lab en Timnit Gebru, toen bij Microsoft Research, testte drie commerciële gezichtsanalysissystemen op een dataset van meer dan 1.200 afbeeldingen geclassificeerd op huidskleur met behulp van de Fitzpatrick-schaal. Volgens het samenvattende verslag van de bevindingen in MIT News overschreden de foutpercentages voor lichterhuidde mannen nooit 0,8%, terwijl de foutpercentages voor donkerhuidde vrouwen varieerden van 20,8% tot 34,7%, wat in één systeem zelfs 46,8% bereikte voor de donkerste vrouwen.

Welke waarborgen er bestaan

De wet van de Europese Unie op kunstmatige intelligentie, formeel Verordening (EU) 2024/1689, trad op 1 augustus 2024 in werking en wordt door de Europese Commissie beschreven als het eerste alomvattende wettelijk kader voor AI wereldwijd. Voor systemen die als risicovol worden ingedeeld – inclusief die gebruikt in werkgelegenheid, onderwijs en biometrische identificatie – eist de verordening dat aanbieders trainings-, validatie- en testgegevens van voldoende kwaliteit gebruiken om het risico op discriminatoire resultaten te minimaliseren, en risicobeoordeling- en beperkingsmaatregelen invoeren voordat het systeem de markt bereikt, volgens de eigen beschrijving van de regels door de Commissie. De Commissie stelt dat verplichtingen voor risicovol systemen gebruikt in gevoelige gebieden als werkgelegenheid en biometrie op 2 december 2027 van toepassing worden, met regels voor AI ingebed in gereglementeerde producten volgend op 2 augustus 2028.

In de Verenigde Staten was NIST's reactie op zijn voorgespannenheidsbevindings om een "socio-technische" benadering aan te bevelen: menselijke en systemische voorgespannenheid naast computationele voorgespannenheid aanpakken door deskundigen buiten engineering te betrekken en getroffen gemeenschappen te raadplegen, in plaats van alleen op technische oplossingen te vertrouwen, volgens NIST's eigen rapportsamenvat ting.

Waarom dit nu van belang is

Recruitingplatforms, kredietscoringstools en content-moderatiesystemen zijn nu gebruikelijk in veel sectoren, wat betekent dat de soorten fouten die in de Amazon- en Gender Shades-gevallen zijn gedocumenteerd, veel mensen kunnen beïnvloeden voordat iemand een patroon opmerkt. De gefaseerde deadlines van de EU-wet op kunstmatige intelligentie tot 2028 en de lopende voorgespannenheidsbeheersrichtlijnen van NIST geven aan dat toezicht op deze systemen nog steeds wordt opgebouwd in plaats van al voltooid te zijn.