NIVΞCTOR
HaberDestek

Sayaç henüz başlamadı

Yapay zekâ · Makale

Yapay Zeka Algoritmaları Önyargıyı Nasıl Geliştiriyor ve Bunu Durdurmak İçin Hangi Güvenceler Var?

Yayın:

A flow chart displaying the algorithm behind a recommendation engine.
Görsel: Jennifer A. Jacobi, Eric A. Benson, and Gregory D. Linden · CC0 · Wikimedia Commons

Kısaca

Yapay zeka sistemleri, temsil edici olmayan eğitim verilerinden öğrendiklerinde veya tasarımlarına yerleşmiş insani ve kurumsal varsayımları kodladıklarında önyargılı hale gelir. Belgelenmiş vakalar — bir Amazon işe alım aracı ve 2018 tarihli "Gender Shades" yüz tanıma çalışması — bunun kadınları ve daha koyu tenli insanları dezavantajlı duruma düşürebildiğini gösteriyor. AB'deki düzenleyiciler ve NIST gibi standart kuruluşları artık yüksek riskli sistemler için önyargı testini zorunlu kılıyor.

Bu sürüm, özgün metnin (English) makine çevirisidir. Özgün metni oku

Yapay zeka sistemleri, giderek artan şekilde iş başvurularını elemek, kredi başvurularını puanlamak, çevrimiçi içeriği denetlemek ve polise şüpheli bildirmek için kullanılıyor. Bu sistemler belirli gruplar için sistematik olarak eşitsiz sonuçlar ürettiğinde, araştırmacılar ve düzenleyiciler bu sonuca algoritmik önyargı diyor. Bu önyargının nasıl oluştuğu ve bununla ilgili neler yapılabileceği sorusu, akademik makalelerden şirket yönetim kurullarına ve yasama organlarına taşındı.

Önyargı nereden geliyor

ABD Ulusal Standartlar ve Teknoloji Enstitüsü'nün (NIST) 2022 tarihli, Özel Yayın 1270 başlıklı raporu, yapay zeka önyargısının sadece bir veri sorunu olmadığı sonucuna vardı. Raporun yazarları, yapay zeka sistemlerinde üç farklı önyargı kaynağı belirliyor.

NIST baş araştırmacısı Reva Schwartz, kurumun raporuna ilişkin kendi özetine göre, kuruluşların genellikle dar kapsamlı teknik düzeltmelere yöneldiğini ve bunların yapay zekanın inşa edildiği ve kullanıldığı daha geniş sosyal bağlamdan kaynaklanan önyargıyı yakalayamadığını söyledi.

Belgelenmiş iki vaka

Amazon, 2014'ten itibaren deneysel bir özgeçmiş eleme aracı geliştirdi ve bunu şirketin aldığı yaklaşık on yıllık özgeçmişlerle eğitti. Teknoloji sektörü tarihsel olarak kadınlardan çok daha fazla erkek istihdam ettiğinden, bu eğitim özgeçmişlerinin çoğu erkek başvuru sahiplerinden geliyordu. MIT Technology Review'in haberine göre, sistem kendi kendine "women's" (kadınlara özgü) kelimesini içeren özgeçmişleri cezalandırmayı öğrendi ve sadece kadınlara yönelik iki üniversitenin mezunlarını düşük puanladı. Amazon mühendisleri bu kalıbı düzeltmeye çalıştı, ancak 2017 yılına gelindiğinde şirket aracın diğer açılardan cinsiyet tarafsız olduğuna olan güvenini kaybetmiş ve kullanımına son vermişti.

MIT Media Lab'den Joy Buolamwini ve o dönemde Microsoft Research'te çalışan Timnit Gebru tarafından yürütülen Gender Shades adlı ayrı bir 2018 çalışması, üç ticari yüz analizi sistemini, Fitzpatrick ölçeği kullanılarak ten rengine göre sınıflandırılmış 1.200'den fazla görüntüden oluşan bir veri kümesinde test etti. MIT News'in bulguların özetine göre, açık tenli erkekler için hata oranları hiçbir zaman %0,8'i aşmazken, koyu tenli kadınlar için hata oranları %20,8 ile %34,7 arasında değişti ve bir sistemde en koyu tenli kadınlar için %46,8'e kadar yükseldi.

Ticari bir sistemde, ikili bir sınıflandırma görevine indirgenmiş bir şeyde üçte birde başarısız olmak için, şunu sormanız gerekir: bu başarısızlık oranları farklı bir alt grupta olsaydı buna izin verilir miydi?

— Joy Buolamwini, MIT Media Lab araştırmacısı, Gender Shades bulguları hakkında
Belgelenmiş iki önyargı vakasının karşılaştırılması
VakaTest edilen sistemBulunan önyargıSonuç
Amazon işe alım algoritması (2014–2017)Dahili özgeçmiş eleme yapay zekası"Women's" kelimesini ve kadın üniversitesi isimlerini içeren özgeçmişleri cezalandırdıMIT Technology Review'e göre araç kullanımdan kaldırıldı
Gender Shades çalışması (2018)Üç ticari yüz analizi programıEn koyu tenli kadınlar için %46,8'e kadar, açık tenli erkekler için %0,8 olan hata oranlarına karşıMIT News'e göre satıcı değişikliklerine yol açtı

Hangi güvenceler mevcut

Avrupa Birliği'nin resmi adıyla (AB) 2024/1689 sayılı Tüzük olan Yapay Zeka Yasası, 1 Ağustos 2024'te yürürlüğe girdi ve Avrupa Komisyonu tarafından dünya çapında yapay zeka için ilk kapsamlı yasal çerçeve olarak tanımlanıyor. İstihdam, eğitim ve biyometrik tanımlama alanlarında kullanılanlar dahil, yüksek riskli olarak sınıflandırılan sistemler için düzenleme, Komisyonun kuralların kendi tanımına göre, sağlayıcıların ayrımcı sonuç riskini en aza indirmek için yeterli kalitede eğitim, doğrulama ve test verisi kullanmasını ve sistem pazara çıkmadan önce risk değerlendirmesi ve azaltma tedbirlerinin uygulanmasını zorunlu kılıyor. Komisyon, istihdam ve biyometri gibi hassas alanlarda kullanılan yüksek riskli sistemlere yönelik yükümlülüklerin 2 Aralık 2027'de uygulanabilir hale geleceğini, düzenlemeye tabi ürünlere gömülü yapay zekaya ilişkin kuralların ise 2 Ağustos 2028'de bunu takip edeceğini belirtiyor.

Amerika Birleşik Devletleri'nde, NIST'in kendi önyargı bulgularına yanıtı, kurumun rapor özetine göre, sadece teknik düzeltmelere güvenmek yerine, mühendislik dışındaki uzmanları işin içine katarak ve etkilenen toplulukları dinleyerek insani ve sistemik önyargıyı hesaplamalı önyargıyla birlikte ele alan "sosyo-teknik" bir yaklaşım önermek oldu.

Bunun şimdi neden önemli olduğu

İşe alım platformları, kredi puanlama araçları ve içerik denetleme sistemleri artık birçok sektörde yaygın hale geldi; bu da Amazon ve Gender Shades vakalarında belgelenen türden hataların, bir kalıp fark edilmeden önce büyük sayıda insanı etkileyebileceği anlamına geliyor. AB Yapay Zeka Yasası'nın 2028'e kadar aşamalı son tarihleri ve NIST'in sürmekte olan önyargı yönetimi kılavuzu, bu sistemlerin denetiminin henüz tamamlanmadığını, halen oluşturulmakta olduğunu gösteriyor.

Sorular

Algoritmik önyargı nedir?
NIST'in 2022 raporuna göre, bu, bir yapay zeka sisteminin belirli insan grupları için eğitim verilerinden, tasarımdaki insani kararlardan veya mevcut kurumsal eşitsizliklerden kaynaklanan sistematik olarak farklı, çoğu zaman dezavantajlı sonuçlar üretmesidir.
Amazon'un yapay zeka işe alım aracı kadınlara gerçekten ayrımcılık mı yaptı?
MIT Technology Review'in haberine göre, deneysel araç "women's" kelimesini içeren özgeçmişleri düşük puanladı ve sadece kadınlara yönelik üniversite mezunlarını cezalandırdı; Amazon, aracın cinsiyet tarafsız olduğuna olan güvenini kaybettikten sonra 2017'ye kadar kullanımını durdurdu.
Yüz tanıma, koyu tenli kadınlar için ne kadar daha kötüydü?
MIT News'in araştırma özetine göre, 2018 tarihli Gender Shades çalışması, üç ticari sistemde koyu tenli kadınlar için hata oranlarının %34,7 ile %46,8'e kadar çıktığını, açık tenli erkekler için ise bu oranın %0,8'in altında olduğunu buldu.
Şu anda şirketleri yapay zekayı önyargıya karşı test etmeye zorlayan herhangi bir yasa var mı?
Avrupa Komisyonu'na göre, AB Yapay Zeka Yasası, yüksek riskli yapay zeka sistemleri için önyargı testi ve veri kalitesi kontrollerini zorunlu kılıyor; istihdam ve biyometri gibi hassas alanlardaki yükümlülükler 2 Aralık 2027'de uygulanabilir hale gelecek.
Yapay zeka önyargısının tek nedeni kötü eğitim verisi mi?
Hayır. NIST'in 2022 raporu üç kaynak belirliyor — hesaplamalı/istatistiksel, insani ve sistemik önyargı — ve kurumsal ve toplumsal faktörlerin veri sorunlarıyla birlikte katkıda bulunduğunu öne sürüyor.

Kaynaklar

  1. NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
  2. MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
  3. MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
  4. European Commission — Regulatory framework proposal on artificial intelligence (AI Act)

Bu yazı yapay zekâ ile hazırlandı ve yayından önce otomatik kaynak denetiminden geçti. Bir hata görürseniz düzeltme isteyin. Düzeltme ya da cevap iste · Nasıl hazırlıyoruz

İlgili yazılar