यह भाषा मशीन द्वारा अनुवादित है और किसी मानव द्वारा समीक्षा नहीं की गई है।

NIVΞCTOR
समाचारसहयोग

काउंटर अभी शुरू नहीं हुआ है

कृत्रिम बुद्धिमत्ता · लेख

AI एल्गोरिदम पूर्वाग्रह कैसे विकसित करते हैं, और इसे रोकने के लिए क्या सुरक्षा मौजूद हैं

प्रकाशित:

A flow chart displaying the algorithm behind a recommendation engine.
चित्र: Jennifer A. Jacobi, Eric A. Benson, and Gregory D. Linden · CC0 · Wikimedia Commons

संक्षेप में

AI सिस्टम पक्षपाती हो जाते हैं जब वे गैर-प्रतिनिधि प्रशिक्षण डेटा से सीखते हैं या अपने डिजाइन में निर्मित मानव और संस्थागत मान्यताओं को एन्कोड करते हैं। दस्तावेज किए गए केस — Amazon की हायरिंग टूल और 2018 के 'Gender Shades' चेहरे की पहचान अध्ययन — यह दिखाते हैं कि यह महिलाओं और गहरी त्वचा वाले लोगों को नुकसान पहुंचा सकता है। EU के नियामक और NIST जैसी मानक निकाय अब उच्च जोखिम वाले सिस्टम के लिए पक्षपात परीक्षण की आवश्यकता करते हैं।

यह संस्करण मूल पाठ (English) का मशीनी अनुवाद है। मूल पाठ पढ़ें

कृत्रिम बुद्धिमत्ता सिस्टम तेजी से नौकरी आवेदकों को स्क्रीन करने, ऋण आवेदनों को स्कोर करने, ऑनलाइन सामग्री को मॉडरेट करने, और पुलिस के लिए संदिग्धों को चिह्नित करने के लिए उपयोग किए जाते हैं। जब ये सिस्टम विशेष समूहों के लिए व्यवस्थित रूप से असमान परिणाम देते हैं, तो शोधकर्ता और नियामक परिणाम को एल्गोरिथम पूर्वाग्रह कहते हैं। यह सवाल कि वह पूर्वाग्रह कैसे बनता है, और इसके बारे में क्या किया जा सकता है, शैक्षणिक पत्रों से कॉर्पोरेट बोर्डरूम और विधानसभाओं में चला गया है।

पूर्वाग्रह कहां से आता है

U.S. National Institute of Standards and Technology (NIST) की 2022 की रिपोर्ट, जिसका शीर्षक Special Publication 1270 है, ने निष्कर्ष निकाला कि AI पूर्वाग्रह केवल एक डेटा समस्या नहीं है। रिपोर्ट के लेखक AI सिस्टम में पूर्वाग्रह के तीन अलग स्रोतों की पहचान करते हैं।

NIST प्रिंसिपल इन्वेस्टीगेटर Reva Schwartz ने कहा कि संगठन अक्सर संकीर्ण तकनीकी सुधारों के लिए स्टॉप करते हैं जो AI से उत्पन्न पूर्वाग्रह को पकड़ने में विफल होते हैं जिसमें व्यापक सामाजिक संदर्भ में इसे बनाया और तैनात किया जाता है, एजेंसी की रिपोर्ट सारांश के अनुसार।

दो दस्तावेजी केस

Amazon ने 2014 में एक प्रायोगिक रिज्यूमे-स्क्रीनिंग टूल बनाया, इसे लगभग एक दशक की रिज्यूमे पर प्रशिक्षित किया जो कंपनी को मिली थी। क्योंकि प्रौद्योगिकी क्षेत्र ने ऐतिहासिक रूप से महिलाओं की तुलना में बहुत अधिक पुरुषों को नियोजित किया है, उन प्रशिक्षण रिज्यूमे का बहुमत पुरुष आवेदकों से आया था। MIT Technology Review की रिपोर्टिंग के अनुसार, सिस्टम ने खुद को शब्द 'women's' युक्त रिज्यूमे को दंडित करने के लिए सिखाया और दो महिला-केवल कॉलेजों के स्नातकों को डाउनग्रेड किया। Amazon इंजीनियरों ने पैटर्न को सुधारने का प्रयास किया, लेकिन 2017 तक कंपनी को विश्वास खो गया कि टूल अन्य संबंधों में लिंग-तटस्थ था और इसका उपयोग बंद कर दिया।

2018 के एक अलग अध्ययन को Gender Shades कहा जाता है, जो MIT मीडिया लैब के Joy Buolamwini और Timnit Gebru द्वारा संचालित किया गया था, जो तब Microsoft Research में थे, तीन व्यावसायिक चेहरा विश्लेषण प्रणालियों को 1,200 से अधिक छवियों के डेटासेट पर परीक्षण किया गया था जो Fitzpatrick स्केल का उपयोग करके त्वचा टोन द्वारा वर्गीकृत किए गए थे। MIT News की सारांश के अनुसार, हल्की त्वचा वाले पुरुषों के लिए त्रुटि दर कभी 0.8% से अधिक नहीं हुई, जबकि गहरी त्वचा वाली महिलाओं के लिए त्रुटि दर 20.8% से 34.7% तक थी, एक सिस्टम में सबसे गहरी त्वचा वाली महिलाओं के लिए 46.8% तक पहुंच गई।

एक में तीन पर विफल होना, एक व्यावसायिक प्रणाली में, कुछ ऐसा पर जो एक बाइनरी वर्गीकरण कार्य तक सीमित कर दिया गया है, आपको पूछना होगा, क्या यह अनुमति दी गई होती यदि वे विफलता दर एक अलग उप समूह में थी?

— Joy Buolamwini, MIT मीडिया लैब शोधकर्ता, Gender Shades निष्कर्षों पर
दो दस्तावेजी पूर्वाग्रह केस तुलना
केसपरीक्षण किया गया सिस्टमपूर्वाग्रह पाया गयापरिणाम
Amazon हायरिंग एल्गोरिदम (2014–2017)आंतरिक रिज्यूमे-स्क्रीनिंग AIरिज्यूमे में 'women's' और महिला-कॉलेज के नामों को दंडित किया गयाMIT Technology Review के अनुसार टूल बंद किया गया
Gender Shades अध्ययन (2018)तीन व्यावसायिक चेहरा विश्लेषण कार्यक्रमगहरी त्वचा वाली महिलाओं के लिए 46.8% तक की त्रुटि दर बनाम हल्की त्वचा वाले पुरुषों के लिए 0.8%MIT News के अनुसार विक्रेता परिवर्तन को प्रेरित किया

कौन सी सुरक्षाएं मौजूद हैं

European Union का AI Act, औपचारिक रूप से Regulation (EU) 2024/1689, 1 अगस्त 2024 को प्रवृत्त हुआ, और European Commission द्वारा दुनिया में AI के लिए पहले व्यापक कानूनी ढांचे के रूप में वर्णित है। उच्च जोखिम के रूप में वर्गीकृत सिस्टम के लिए — रोजगार, शिक्षा, और बायोमेट्रिक पहचान में उपयोग सहित — विनियम प्रदानकर्ताओं को प्रशिक्षण, सत्यापन, और परीक्षण डेटा का उपयोग करना आवश्यक है जो भेदभावपूर्ण परिणामों के जोखिम को कम करने के लिए पर्याप्त गुणवत्ता का हो, और बाजार तक पहुंचने से पहले जोखिम-मूल्यांकन और शमन उपाय स्थापित करना हो, Commission के नियमों के अपने विवरण के अनुसार। Commission कहता है कि रोजगार और बायोमेट्रिक्स जैसे संवेदनशील क्षेत्रों में उपयोग किए जाने वाले उच्च जोखिम वाले सिस्टम के लिए दायित्व 2 दिसंबर 2027 को लागू हो जाएंगे, विनियमित उत्पादों में एम्बेड किए गए AI के लिए नियमों के साथ 2 अगस्त 2028 के बाद होंगे।

संयुक्त राज्य अमेरिका में, NIST का अपना जवाब अपने पूर्वाग्रह निष्कर्षों के लिए एक 'socio-technical' दृष्टिकोण की सिफारिश करना था: कम्प्यूटेशनल पूर्वाग्रह के साथ-साथ मानव और संस्थागत पूर्वाग्रह से निपटना इंजीनियरिंग के बाहर विशेषज्ञों को शामिल करके और प्रभावित समुदायों से परामर्श करके, केवल तकनीकी सुधार पर भरोसा करने के बजाय, एजेंसी की रिपोर्ट सारांश के अनुसार।

यह अब क्यों महत्वपूर्ण है

हायरिंग प्लेटफॉर्म, क्रेडिट-स्कोरिंग टूल, और सामग्री-सामग्री प्रणाली अब कई उद्योगों में आम हैं, जिसका अर्थ है कि Amazon और Gender Shades केस में दस्तावेज की गई त्रुटियों की तरह की त्रुटियां किसी को एक पैटर्न नोटिस करने से पहले बड़ी संख्या में लोगों को प्रभावित कर सकती हैं। EU AI Act की 2028 के माध्यम से फेज्ड डेडलाइन, और NIST की चल रही पूर्वाग्रह-प्रबंधन मार्गदर्शन, संकेत देते हैं कि इन सिस्टम की देखरेख अभी भी बनाई जा रही है बजाय पहले से पूर्ण होने के।

प्रश्न

एल्गोरिथम पूर्वाग्रह क्या है?
यह तब होता है जब एक AI प्रणाली लोगों के विशेष समूहों के लिए व्यवस्थित रूप से अलग, अक्सर नुकसानदेह, परिणाम देती है, प्रशिक्षण डेटा, डिजाइन में मानव निर्णय, या मौजूदा संस्थागत असमानताओं से उत्पन्न होती है, NIST की 2022 की रिपोर्ट के अनुसार।
क्या Amazon के AI हायरिंग टूल ने महिलाओं के खिलाफ वास्तव में भेदभाव किया?
MIT Technology Review की रिपोर्टिंग के अनुसार, प्रायोगिक टूल ने 'women's' शब्द युक्त रिज्यूमे को डाउनग्रेड किया और सभी महिला-केवल कॉलेजों के स्नातकों को दंडित किया; Amazon ने 2017 तक सिस्टम का उपयोग बंद कर दिया।
गहरी त्वचा वाली महिलाओं के लिए चेहरे की पहचान कितनी बदतर थी?
2018 के Gender Shades अध्ययन में तीन व्यावसायिक प्रणालियों में गहरी त्वचा वाली महिलाओं के लिए 34.7% से 46.8% तक की त्रुटि दर मिली, हल्की त्वचा वाले पुरुषों के लिए 0.8% से कम की तुलना में, MIT News की सारांश के अनुसार।
क्या कोई कानून वर्तमान में कंपनियों को AI में पूर्वाग्रह के लिए परीक्षण करने की आवश्यकता करता है?
EU AI Act उच्च जोखिम वाली AI प्रणालियों के लिए पूर्वाग्रह परीक्षण और डेटा-गुणवत्ता जांच की आवश्यकता करता है, रोजगार और बायोमेट्रिक्स जैसे संवेदनशील क्षेत्रों में दायित्व 2 दिसंबर 2027 को लागू हो जाएंगे, European Commission के अनुसार।
क्या खराब प्रशिक्षण डेटा AI पूर्वाग्रह का एकमात्र कारण है?
नहीं। NIST की 2022 की रिपोर्ट तीन स्रोतों की पहचान करती है — कम्प्यूटेशनल/सांख्यिकीय, मानव, और संस्थागत पूर्वाग्रह — और तर्क देती है कि संस्थागत और सामाजिक कारक डेटा समस्याओं के साथ-साथ योगदान देते हैं।

स्रोत

  1. NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
  2. MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
  3. MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
  4. European Commission — Regulatory framework proposal on artificial intelligence (AI Act)

यह लेख कृत्रिम बुद्धिमत्ता से तैयार किया गया और प्रकाशन से पहले स्वचालित स्रोत-जाँच से गुज़रा। कोई गलती दिखे तो सुधार का अनुरोध करें। सुधार या उत्तर का अनुरोध करें · हम कैसे काम करते हैं

संबंधित लेख