人工智能算法如何产生偏见及存在哪些防护措施

人工智能系统日益被用于筛选求职申请人、评估贷款申请、审核在线内容以及为警方标记嫌疑人。当这些系统对特定群体产生系统性不平等结果时，研究人员和监管机构称之为算法偏见。关于这种偏见如何形成以及可以采取什么措施来解决这个问题，已经从学术论文进入公司董事会和立法机构。

偏见的来源

美国国家标准与技术研究院(NIST)2022年发布的报告《特别出版物1270》得出结论，人工智能偏见不仅仅是数据问题。该报告的作者确定了人工智能系统中的三个不同偏见来源。

• 计算和统计偏见——源于不具代表性的训练数据或算法，这些数据或算法不能代表系统将影响的人群。
• 人类偏见——当设计师、标记者或用户在构建或操作系统时应用不完整信息或刻板印象时引入。
• 系统性偏见——现有的机构实践和历史不平等被编码到系统中，仅仅因为它们存在于系统学习的记录中。

NIST首席研究员Reva Schwartz表示，根据该机构对报告的总结，组织通常倾向于采取狭隘的技术修复措施，这些措施无法捕捉源于人工智能构建和部署的更广泛社会背景中的偏见。

两个有文献记录的案例

Amazon从2014年开始建立了一个实验性简历筛选工具，用公司收到的大约十年的简历对其进行了训练。由于科技行业历来雇用的男性远多于女性，这些训练简历的大多数来自男性申请人。据MIT Technology Review报道，该系统学会了惩罚包含"women's"一词的简历，并降低了两所全女性高校毕业生的评分。Amazon工程师试图纠正这种模式，但到2017年，该公司已失去信心，认为该工具在其他方面不是性别中立的，因此停止使用它。

由MIT Media Lab的Joy Buolamwini和当时在Microsoft Research的Timnit Gebru进行的一项单独的2018年研究（称为Gender Shades）在包含1200多张图像的数据集上测试了三个商业面部分析系统，这些图像按照Fitzpatrick量表按肤色进行分类。根据MIT News对调查结果的总结，肤色较浅的男性的错误率从未超过0.8%，而肤色较深的女性的错误率从20.8%到34.7%不等，在一个系统中，肤色最深的女性的错误率高达46.8%。

存在哪些防护措施

欧盟的人工智能法案（正式为法规(EU) 2024/1689）于2024年8月1日生效，欧盟委员会将其描述为全球首个全面的人工智能法律框架。对于被归类为高风险的系统——包括那些用于就业、教育和生物识别的系统——该法规要求提供商使用充分质量的训练、验证和测试数据，以最小化歧视性结果的风险，并在系统进入市场前采取风险评估和缓解措施，根据委员会自己的规则描述。委员会指出，高风险系统在就业和生物识别等敏感领域的义务将于2027年12月2日生效，而涉及管制产品中嵌入的人工智能的规则将于2028年8月2日生效。

在美国，NIST对其偏见发现的回应是建议采用"社会-技术"方法：通过邀请工程领域外的专家和咨询受影响的社区，与计算偏见一起解决人类和系统性偏见，而不是仅依赖技术修复，根据该机构的报告总结。

为什么这现在很重要

招聘平台、信用评分工具和内容审核系统现在在许多行业中很常见，这意味着在Amazon和Gender Shades案例中记录的错误类型可能会在任何人注意到模式之前影响大量人群。欧盟人工智能法案截至2028年的分阶段截止日期以及NIST持续的偏见管理指导表明，这些系统的监督仍在建立中，而不是已经完成。