هوش مصنوعی · مقاله
نحوه توسعه سوگیری در الگوریتم‌های هوش مصنوعی و حفاظتی که برای متوقف کردن آن وجود دارد
انتشار:
به‌طور خلاصه
سیستمهای هوش مصنوعی زمانی سوگیری پیدا میکنند که از دادههای آموزشی نمایندگی نکننده یاد بگیرند یا فرضیات انسانی و نهادی را که در طراحی آنها کدگذاری شده‌اند، در خود بپذیرند. موارد مستند شده - ابزار استخدام آمازون و مطالعه "سایه‌های جنسیتی" سال 2018 برای شناسایی چهره - نشان می‌دهد که این می‌تواند زنان و افراد دارای پوست تیره‌تر را در معرض نقصان قرار دهد. مقررات‌گذاران در اتحادیه اروپا و بدنه‌های استانداردی مانند NIST اکنون آزمایش سوگیری را برای سیستمهای پرخطر الزامی میکنند.
این نسخه ترجمهٔ ماشینی متن اصلی (English) است. خواندن متن اصلی
سیستمهای هوش مصنوعی به طور فزاینده برای غربالگری درخواست‌های شغلی، امتیاز‌دهی به درخواست‌های وام، نظارت بر محتوای آنلاین و شناسایی مظنونان برای پلیس استفاده میشوند. هنگامی که این سیستم‌ها نتایج نابرابری سیستماتیک را برای گروههای خاص ایجاد میکنند، محققان و مقررات‌گذاران نتیجه را سوگیری الگوریتمی می‌نامند. مسئله چگونگی تشکیل این سوگیری و آنچه که می‌تواند در این باره انجام شود، از مقالات دانشگاهی به هیئت‌های شرکتی و مجالس قانونگذاری منتقل شده است.
سوگیری از کجا نشات می‌گیرد
گزارش سال 2022 از موسسه ملی ایالات‌متحده برای استاندارد و تکنولوژی (NIST)، به نام انتشار ویژه 1270، نتیجه‌گیری کرد که سوگیری هوش مصنوعی نه تنها مشکلی در دادهها است. نویسندگان گزارش سه منبع متمایز سوگیری را در سیستمهای هوش مصنوعی شناسایی کرده‌اند.
- سوگیری محاسباتی و آماری - ناشی از دادههای آموزشی یا الگوریتم‌هایی که نماینده جمعیتی نیستند که سیستم بر آن تأثیر می‌گذارد.
- سوگیری انسانی - زمانی که طراحان، برچسب‌گذاران یا کاربران اطلاعات ناقص یا کلیشه‌ها را هنگام ساخت یا استفاده از سیستم اعمال میکنند، معرفی می‌شود.
- سوگیری نظاممند - شیوه‌های نهادی موجود و نابرابریهای تاریخی که به سادگی به دلیل اینکه در رکوردهایی که سیستم از آنها یاد می‌گیرد موجود هستند، در سیستم کدگذاری میشوند.
رووا شوارتز، محقق ارشد NIST، گفت که سازمان‌ها اغلب به راه‌حل‌های فنی محدود متوسل میشوند که نتوانستند سوگیری ناشی از زمینه اجتماعی گسترده‌تری را که هوش مصنوعی در آن ساخته و مستقر می‌شود، توضیح دهند، بر اساس خلاصه‌ای که خود موسسه از گزارش ارائه می‌دهد.
دو مورد مستند
آمازون در سال 2014 ابزاری تجربی برای غربالگری رزومه ایجاد کرد و آن را بر اساس حدود یک دهه رزومههایی که شرکت دریافت کرده بود آموزش داد. چون بخش تکنولوژی به طور تاریخی بسیار بیشتر مردان را نسبت به زنان استخدام کرده است، اکثریت آن رزومه‌های آموزشی از متقدمین مرد آمده بودند. بر اساس گزارش مجله MIT Technology Review، سیستم خود را آموزش داد تا رزومههایی که حاوی کلمه "زنان" بودند را جریمه کند و فارغالتحصیلان دو کالج تنها برای زنان را کاهش دهد. مهندسان آمازون سعی کردند این الگو را اصلاح کنند، اما تا سال 2017 شرکت اعتماد خود را به این که ابزار از نظر جنسیتی در دیگر جوانب بی‌طرف باشد از دست داد و استفاده از آن را متوقف کرد.
مطالعه جداگانه‌ای در سال 2018 به نام Gender Shades توسط Joy Buolamwini از رسانه MIT و Timnit Gebru، در آن زمان در مایکروسافت تحقیقات، سه سیستم تحلیل چهره تجاری را بر روی مجموعه داده‌ای بیش از 1200 تصویر که با استفاده از مقیاس Fitzpatrick طبقه‌بندی شده‌اند، آزمایش کردند. بر اساس خلاصه اخبار MIT از نتایج، نرخ خطا برای مردان با پوست روشن هرگز از 0.8% فراتر نرفت، در حالی که نرخ خطا برای زنان با پوست تیره از 20.8% تا 34.7% متغیر بود، تا 46.8% برای تیره‌ترین زنان پوستی در یک سیستم رسید.
شکست در یکی از سه‌ها، در یک سیستم تجاری، در چیزی که به یک وظیفه طبقه‌بندی باینری تقلیل یافته است، باید بپرسید، آیا اگر این نرخ‌های شکست در یک زیرگروه متفاوت بودند، اجازه داده می‌شد؟
| مورد | سیستم آزمایش‌شده | سوگیری یافت‌شده | نتیجه |
|---|---|---|---|
| الگوریتم استخدام آمازون (2014-2017) | ابزار غربالگری رزومه هوش مصنوعی داخلی | رزومههایی را که حاوی "زنان" و نام‌های کالجهای زنانه بودند، جریمه کرد | ابزار متوقف شد، بر اساس MIT Technology Review |
| مطالعه Gender Shades (2018) | سه برنامه تحلیل چهره تجاری | نرخ خطا تا 46.8% برای زنان با پوست تیره در مقابل 0.8% برای مردان با پوست روشن | تغییرات فروشنده را تحریک کرد، بر اساس اخبار MIT |
حفاظت‌های موجود کدام‌اند
قانون هوش مصنوعی اتحادیه اروپا، رسماً مقررات (EU) 2024/1689، در 1 اگست 2024 اجرایی شد و توسط کمیسیون اروپایی به عنوان اولین چارچوب قانونی جامع برای هوش مصنوعی در جهان توصیف می‌شود. برای سیستم‌هایی که به عنوان پرخطر طبقه‌بندی میشوند - از جمله مواردی که در استخدام، آموزش و شناسایی بیومتریک استفاده میشوند - مقررات از ارائه‌کنندگان میخواهد از دادههای آموزش، تأیید و آزمایش با کیفیت کافی استفاده کنند تا خطر نتایج تبعیض‌آمیز را کاهش دهند، و پیش از رسیدن سیستم به بازار، اقدامات ارزیابی و کاهش خطر را انجام دهند، بر اساس توصیف خود کمیسیون از قواعد. کمیسیون بیان میکند که الزامات برای سیستمهای پرخطر استفادهشده در مناطق حساس مثل استخدام و سنجش بیومتریک در 2 دسامبر 2027 قابل اجرا میشوند، و قواعد هوش مصنوعی تعبیه‌شده در محصولات منظم‌شده در 2 اگست 2028 پیروی میکنند.
پاسخ NIST به یافته‌های سوگیری آن، توصیه به روشی "اجتماعی-فنی" بود: مقابله با سوگیری انسانی و نظاممند در کنار سوگیری محاسباتی با درگیری متخصصان خارج از مهندسی و مشورت با جوامع آسیب‌پذیر، به جای تکیه بر اصلاحات فنی تنها، بر اساس خلاصه گزارش موسسه.
چرا این اکنون اهمیت دارد
پلت‌فرم‌های استخدام، ابزار نمره‌دهی اعتباری و سیستمهای نظارت بر محتوا اکنون در بسیاری از صنایع رایج هستند، که به این معنی است انواع خطاهایی که در موارد آمازون و Gender Shades مستند شده‌اند می‌توانند بر تعداد زیادی از مردم تأثیر بگذارند پیش از آنکه کسی یک الگو را متوجه شود. ضرب‌الاجل‌های مرحله‌ای قانون هوش مصنوعی اتحادیه اروپا تا سال 2028 و راهنمایی مستمر مدیریت سوگیری NIST نشان می‌دهد که نظارت بر این سیستم‌ها هنوز در حال ساخت است بدل از اینکه ابتدا کامل باشد.
پرسش‌ها
- سوگیری الگوریتمی چیست؟
- این موقعی است که سیستم هوش مصنوعی به طور سیستماتیک نتایج متفاوت، اغلب نقصانآمیز، را برای گروههای خاصی از مردم ایجاد میکند، ناشی از دادههای آموزشی، تصمیمات انسانی در طراحی یا نابرابریهای نهادی موجود، بر اساس گزارش NIST سال 2022.
- آیا ابزار استخدام هوش مصنوعی آمازون واقعاً علیه زنان تبعیض روا میداشت؟
- بر اساس گزارش مجله MIT Technology Review، ابزار تجربی رزومههایی که حاوی کلمه "زنان" بودند را کاهش داد و فارغالتحصیلان کالجهای تنها برای زنان را جریمه کرد؛ آمازون تا سال 2017 استفاده از سیستم را متوقف کرد بعد از اینکه از بیطرفی جنسیتی آن اعتماد از دست داد.
- تشناسایی چهره برای زنان با پوست تیره چقدر بدتر بود؟
- مطالعه Gender Shades سال 2018 نرخ خطایی تا 34.7% تا 46.8% برای زنان با پوست تیره در سه سیستم تجاری یافت، در برابر کمتر از 0.8% برای مردان با پوست روشن، بر اساس خلاصه اخبار MIT از پژوهش.
- آیا قانونی وجود دارد که در حال حاضر از شرکتها میخواهد هوش مصنوعی را برای سوگیری آزمایش کنند؟
- قانون هوش مصنوعی اتحادیه اروپا آزمایش سوگیری و بررسیهای کیفیت داده را برای سیستمهای هوش مصنوعی پرخطر الزامی میکند، با اینکه الزامات برای سیستمهای پرخطر استفادهشده در مناطق حساس مثل استخدام و سنجش بیومتریک در 2 دسامبر 2027 قابل اجرا میشوند، بر اساس کمیسیون اروپایی.
- آیا دادههای آموزشی بد تنها دلیل سوگیری هوش مصنوعی است؟
- خیر. گزارش NIST سال 2022 سه منبع را شناسایی میکند - سوگیری محاسباتی/آماری، انسانی و نظاممند - و استدلال میکند که عوامل نهادی و اجتماعی در کنار مشکلات دادهها مشارکت میکنند.
منابع
- NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
- MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
- MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
- European Commission — Regulatory framework proposal on artificial intelligence (AI Act)
این مطلب با هوش مصنوعی آماده شده و پیش از انتشار از بررسی خودکار منابع گذشته است. اگر خطایی دیدید، درخواست اصلاح کنید. درخواست اصلاح یا حق پاسخ · چگونه کار می‌کنیم
مطالب مرتبط
هوش مصنوعیمقاله
چگونه شبکه‌های عصبی یاد می‌گیرند: ریاضیات پشت ChatGPT و Gemini
شبکه‌های عصبی با ایجاد یک پیش‌بینی، اندازه‌گیری میزان خطا آن با تابع زیان، و سپس تعدیل مقادیر داخلی به نام وزن‌ها از طریق شبکه به صورت معکوس یاد می‌گیرند — فرآیندی که انتشار معکوس نام‌گذاری می‌شود و با روشی بهینه‌سازی به نام فرود گرادیانی جفت می‌شود. همین مکانیزم، در مقیاس میلیاردها پارامتر، زیربنای نحوه آموزش اولیه سیستم‌هایی مانند ChatGPT و Gemini است و سپس سازگاری آنها با کارهای خاص از طریق تنظیم دقیق.
هوش مصنوعیمقاله
چگونه هوش مصنوعی هنر و موسیقی تولید می کند و چرا "خلاقیت واقعی" همچنان مورد اختلاف است
ابزارهای تصویری هوش مصنوعی مانند Midjourney و Stable Diffusion تصاویر را با یادگیری معکوس کردن فرآیند نویز می سازند، در حالی که ابزارهای موسیقی مانند Suno و Udio صوت را به نمادها فشرده کرده و آنها را مرحله به مرحله پیش بینی می کنند، هدایت شده توسط یک رمز متنی. اینکه آیا هر یک از این فرآیندها به عنوان خلاقیت واقعی شمار می رود، هنوز حل نشده است: محققان میان نام گذاری آن به عنوان "تجدید ترکیب" مبتنی بر الگو و اعتراف به آن با عملکرد خلاق قابل اندازه گیری تقسیم شده اند.
هوش مصنوعیمقاله
چرا Moonshot عمداً توانایی‌های هکری مدل Kimi AI جدید خود را ضعیف کرد
شرکت هوش مصنوعی چینی Moonshot می‌گوید که دادههای آموزشی مربوط به حوزه سایبر را از مدل جدید Kimi K3.1 Pro حذف کرده است تا سیستم با وزن‌های باز نتواند "مرز" قابلیت‌های حملات هکری تهاجمی را افزایش دهد. این اطلاعیه که در شنبه 24 اکتبر 2026 منتشر شد، در زمانی می‌آید که دولت‌ها و محققان امنیتی هشدار می‌دهند که هوش مصنوعی‌های فزاینده‌ی توانایی می‌توانند حملات سایبری پیشرفته را ارزان‌تر و آسان‌تر کنند.
هوش مصنوعیمقاله
نحوه کار کردن آشکارسازهای متن هوش مصنوعی، توضیح داده شده از طریق یک نزاع بر سر رمان برنده جایزه
آشکارسازهای متن هوش مصنوعی ثابت نمی‌کنند که چه کسی چیزی را نوشته است؛ آنها احتمالی را با اندازه‌گیری الگوهای آماری مانند قابل‌پیش‌بینی بودن کلمات و تغییر طول جملات تخمین می‌زنند. آشکارسازی به نام Pangram 4.1 اخیراً 99% از یک رمان برنده جایزه اسپانیایی با ارزش 20,000 یورو را به هوش مصنوعی نسبت داد، که ناشر آن را وادار کرد تا رویدادهای تبلیغاتی را تعلیق کند و در حالی که تحقیق میکند.