AI算法如何產生偏差，以及存在哪些保障措施來阻止它

人工智能系統越來越多地被用於篩選求職者、給貸款申請評分、審核在線內容和為警察標記嫌疑人。當這些系統對特定群體產生系統性不平等的結果時，研究人員和監管機構將其稱為算法偏差。這種偏差如何形成以及如何解決的問題已經從學術論文進入公司董事會和立法機構。

偏差的來源

美國國家標準與技術研究院(NIST)發佈的2022年報告《特別出版物1270》得出結論，AI偏差不僅僅是數據問題。報告作者確定了AI系統中三個不同的偏差來源。

• 計算和統計偏差——由訓練數據或不代表系統將影響的人口的算法引起。
• 人為偏差——當設計師、標籤人員或用戶在構建或運營系統時應用不完整的信息或刻板印象時引入。
• 系統性偏差——現有的制度實踐和歷史性不平等被編碼到系統中，僅僅因為它們存在於系統學習的記錄中。

NIST主要研究員Reva Schwartz表示，根據該機構對報告的總結，組織通常傾向於採用狹隘的技術修復，但這些修復無法捕捉源於AI建設和部署的更廣泛社會背景的偏差。

兩個有文獻記載的案例

亞馬遜從2014年開始建立了一個實驗性簡歷篩選工具，用該公司收到的大約十年的簡歷對其進行訓練。由於科技行業歷來雇用的男性遠多於女性，這些訓練簡歷的大多數來自男性申請者。根據《麻省理工科技評論》的報導，該系統自動學會懲罰包含「women's」一詞的簡歷，並對兩所全女性大學的畢業生進行降級評分。亞馬遜工程師試圖糾正這一模式，但到2017年，該公司對該工具在其他方面是否性別中立失去了信心，並停止使用它。

一項名為《性別陰影》的2018年獨立研究由麻省理工學院媒體實驗室的Joy Buolamwini和當時在微軟研究院的Timnit Gebru進行，該研究在使用Fitzpatrick量表按膚色分類的超過1,200張圖像的數據集上測試了三個商業面部分析系統。根據《麻省理工新聞》對研究結果的總結，膚色較淺的男性的錯誤率從未超過0.8%，而膚色較深的女性的錯誤率範圍為20.8%至34.7%，在某個系統中，膚色最深的女性的錯誤率高達46.8%。

存在哪些保障措施

歐盟的AI法案，正式名稱為《條例(EU) 2024/1689》，於2024年8月1日生效，歐盟委員會將其描述為全球首個全面的AI法律框架。對於被分類為高風險的系統——包括用於就業、教育和生物識別的系統——根據委員會對規則的描述，該條例要求提供商使用充分質量的訓練、驗證和測試數據，以最大程度地降低歧視性結果的風險，並在系統進入市場之前採取風險評估和緩解措施。委員會表示，用於就業和生物識別等敏感領域的高風險系統的義務將於2027年12月2日開始適用，嵌入受監管產品中的AI規則將於2028年8月2日生效。

在美國，NIST對其偏差發現的回應是建議採用「社會技術」方法：根據該機構的報告摘要，通過讓非工程領域的專家參與並諮詢受影響的社區，同時解決人為和系統性偏差與計算偏差，而不是僅依靠技術修復。

為什麼這很重要

招聘平台、信用評分工具和內容審核系統現在在許多行業中很普遍，這意味著在亞馬遜和《性別陰影》案例中記錄的那類錯誤可能會在任何人注意到模式之前影響大量人群。歐盟AI法案的2028年前的分階段截止日期和NIST持續的偏差管理指導表明，這些系統的監督仍在進行中，而不是已經完成。