जनरेटिव AI कैसे काम करता है: टेक्स्ट, इमेज और कोड जनरेशन की व्याख्या

विभिन्न आउटपुट को कवर करने के बावजूद, टेक्स्ट जेनरेटर, इमेज जेनरेटर और कोडिंग असिस्टेंट एक समान आधार साझा करते हैं: एक न्यूरल नेटवर्क जो बड़ी मात्रा में डेटा पर प्रशिक्षित होता है सांख्यिकीय पैटर्न सीखता है, फिर संग्रहीत उत्तर प्राप्त करने के बजाय टुकड़े दर टुकड़े नई सामग्री बनाने के लिए उन पैटर्न का उपयोग करता है।

टेक्स्ट जनरेशन: अगला टोकन भविष्यवाणी

चैटबॉट्स के पीछे मौजूद बड़े भाषा मॉडल पहले टेक्स्ट को टोकन नामक छोटी इकाइयों में विभाजित करते हैं, जो पूरे शब्द या शब्दों के कुछ हिस्से हो सकते हैं, IBM की ट्रांसफॉर्मर मॉडल पर तकनीकी व्याख्याकार के अनुसार, जो 28 मार्च 2025 को प्रकाशित हुई। प्रत्येक टोकन को एक संख्यात्मक वेक्टर में परिवर्तित किया जाता है, जिसे एम्बेडिंग कहा जाता है, जो इसके अर्थ को दर्शाता है, और इसके वाक्य में टोकन की स्थिति को एनकोड करने के लिए दूसरा वेक्टर जोड़ा जाता है।

मुख्य तंत्र स्व-ध्य���न है: प्रत्येक टोकन के लिए, मॉडल गणना करता है कि इनपुट में हर दूसरा टोकन कितना प्रासंगिक है, IBM के अनुसार प्रति टोकन तीन सीखे गए वेक्टर का उपयोग करके — एक क्वेरी, एक कुंजी, और एक मान। यह मॉडल को टेक्स्ट में कहीं से भी एक साथ संदर्भ पर विचार करने देता है, बजाय इसके कि पुरानी आर्किटेक्चर की तरह शब्द दर शब्द पढ़ें। डिकोडर-केवल ट्रांसफॉर्मर, GPT जैसे मॉडलों के पीछे की आर्किटेक्चर, फिर टेक्स्ट को ऑटोरेग्रेसिवली जेनरेट करते हैं — एक समय में एक टोकन की भविष्यवाणी करते हैं और अगले की भविष्यवाणी करने के लिए उस टोकन को वापस फीड करते हैं, IBM बताता है।

Anthropic की शोध, जो इसकी साइट पर 'Tracing the thoughts of a large language model' के रूप में प्रकाशित हुई, ने पाया कि यह अगला-टोकन प्रक्रिया बाहर से जो दिखाई देती है उससे अधिक योजना शामिल कर सकती है। एक प्रयोग में, जब इसका Claude मॉडल काव्य की एक पंक्ति लिख रहा था, तो यह पंक्ति के बाकी हिस्से को लिखने से पहले एक संभावित तुकांत शब्द के अनुरूप आंतरिक विशेषताओं को सक्रिय करता था, फिर उस शब्द तक पहुंचने के लिए अपनी शब्दावली को समायोजित करता था। एक अन्य परीक्षण में, मॉडल ने एक बहु-चरणीय प्रश्न का उत्तर दिया — जैसे Dallas वाली स्थिति की राजधानी की पहचान करना — पहले 'Texas' के लिए एक आंतरिक प्रतिनिधित्व को सक्रिय करके और फिर अलग से 'Austin' को पुनः प्राप्त करके, सीधे उत्तर पर कूदने के बजाय, Anthropic ने रिपोर्ट किया।

Anthropic ने मॉडल की आंतरिक गणना और उस गणना के अपने विवरण के बीच एक अंतर भी पाया: जब इससे पूछा गया कि यह गणितीय गणना कैसे करता है, Claude ने एक मानक विधि का वर्णन किया, लेकिन आंतरिक प्रक्रिया जो Anthropic ने ट्रेस की वह एक अलग, समानांतर दृष्टिकोण का उपयोग करती थी, एक मोटे अनुमान को अंतिम अंक ट्रैकिंग के साथ जोड़ती हुई।

इमेज जनरेशन: चरण दर चरण शोर हटाना

अधिकांश आधुनिक टेक्स्ट-से-छवि उपकरण, जिनमें Google का Imagen शामिल है, विसरण मॉडल का उपयोग करते हैं, जो टेक्स्ट जनरेशन की विपरीत दिशा में काम करते हैं। Google के Imagen अनुसंधान पृष्ठ के अनुसार, सिस्टम एक फ्रोजन बड़े भाषा मॉडल — T5-XXL — से शुरू होता है जो टेक्स्ट प्रॉम्प्ट को एक एम्बेडिंग में परिवर्तित करता है, टेक्स्ट मॉडल में उपयोग की जाने वाली एक ही तरह की संख्यात्मक प्रतिनिधित्व। Google के शोधकर्ताओं ने नोट किया कि इस टेक्स्ट एनकोडर के आकार को बढ़ाने से इमेज जनरेटिंग हिस्से को स्केल करने की तुलना में इमेज गुणवत्ता में अधिक सुधार हुआ।

एक विसरण मॉडल फिर उस टेक्स्ट एम्बेडिंग लेता है और एक छोटी 64x64 पिक्सल इमेज जेनरेट करता है। यह यादृच्छिक दृश्य शोर से शुरू करके और एक पुनरावृत्त 'डीनोइजिंग' प्रक्रिया चलाकर करता है, जहां मॉडल बार-बार शोर के एक हिस्से को हटाने की भविष्यवाणी और हटाता है, टेक्स्ट एम्बेडिंग द्वारा निर्देशित, जब तक कि एक सुसंगत कम-रिज़ॉल्यूशन इमेज रहे, Google के विवरण के अनुसार। इमेज को फिर दो अतिरिक्त विसरण मॉडल का उपयोग करके बढ़ाया जाता है, पहले 256x256 पिक्सल तक और फिर 1024x1024 पिक्सल तक, एक कैस्केड जिसे Google सुपर-रिजॉल्यूशन विसरण कहता है।

मॉडल को टेक्स्ट प्रॉम्प्ट का अधिक बारीकी से पालन करने की अनुमति देने के लिए, Google के अनुसंधान पृष्ठ के अनुसार Imagen 'एक नया थ्रेशोल्डिंग विसरण सैंपलर' पेश करता है, जो वर्गीकरणकर्ता-मुक्त मार्गदर्शन के रूप में जाने जाने वाली विधि के साथ उपयोग किया जाता है, जो एक साथ बहुत बड़े मार्गदर्शन भारों का उपयोग सक्षम करते हैं। Google ने रिपोर्ट की कि मानवीय मूल्यांकन में, मूल्यांकनकर्ताओं ने Imagen के आउटपुट को टेक्स्ट प्रॉम्प्ट से मेल खाने के लिए वास्तविक संदर्भ तस्वीरों के तुलनीय के रूप में आंका, और इसे अन्य टेक्स्ट-से-इमेज सिस्टम के समान, DALL-E 2 सहित, DrawBench नामक एक बेंचमार्क पर पसंद किया, जो Google ने बनाया।

कोड जनरेशन: संदर्भ से बनी सुझाव

GitHub Copilot जैसे AI कोडिंग असिस्टेंट सामान्य टेक्स्ट के लिए उपयोग किए जाने वाले ट्रांसफॉर्मर-आधारित, अगला-टोकन पूर्वानुमान दृष्टिकोण लागू करते हैं, लेकिन विशेष रूप से प्रोग्रामिंग कोड पर प्रशिक्षित और एक डेवलपर के कार्यस्थान के लिए अनुकूलित। GitHub के अपने दस्तावेज़ के अनुसार, Copilot दो मुख्य मोड में काम करता है: एक 'सहायक' मोड जो कोड का सुझाव देता है, सवालों के जवाब देता है, या जैसे ही कोई डेवलपर टाइप करता है कोड की व्याख्या करता है, और एक 'एजेंटिक' मोड जहां एक डेवलपर एक लक्ष्य का वर्णन करता है और Copilot कई चरणों के माध्यम से काम करता है — रिपोजिटरी की जांच करना, एक योजना का प्रस्ताव करना, फाइलों को संपादित करना, और एक कार्य को पूरा करने के लिए उपकरण चलाना।

GitHub के दस्तावेज़ से पता चलता है कि Copilot की क्षमताएं रिपोजिटरी-विशिष्ट निर्देश और बाहरी उपकरण एकीकरण जैसी अनुकूलन तक भी विस्तारित होती हैं, और यह कि कुछ सुविधाएं असिंक्रोनोल्स रूप से काम करती हैं, एक कोडिंग एजेंट को निरंतर निरीक्षण के बिना परिवर्तन करने और पुल अनुरोधों को खोलने या अपडेट करने की अनुमति देती हैं। GitHub अपने वर्तमान दस्तावेज़ के अनुसार सार्वजनिक रूप से प्रत्येक मॉडल या संदर्भ को कैसे चुना और अंतर्निहित मॉडल को पारित किया जाता है की पूरी तकनीकी जानकारी निर्दिष्ट नहीं करता है।

तीनों की तुलना

सभी तीन दृष्टिकोण प्रशिक्षण डेटा पर निर्भर करते हैं: मॉडल के आंतरिक पैटर्न उस टेक्स्ट, इमेज या कोड से आते हैं जिसके संपर्क में यह प्रशिक्षण के दौरान आया था, और इसका आउटपुट एक नया जेनरेट किया गया अनुक्रम या इमेज है जो उन सीखे गए पैटर्न द्वारा आकार दिया गया है, किसी एकल प्रशिक्षण उदाहरण की प्रति के बजाय।