نحوه کارکرد هوش مصنوعی تولیدکننده: تولید متن، تصویر و کد توضیح داده شده

علی‌رغم پوشش بسیار متفاوت خروجی‌ها، مولدهای متن، مولدهای تصویر و دستیاران کدنویسی یک بنیاد مشترک را به اشتراک می‌گذارند: یک شبکه عصبی که روی حجم زیادی از داده‌ها آموزش دیده‌ است، الگوهای آماری را یاد می‌گیرد، سپس از آن الگوها برای ساخت محتوای جدید تکه به تکه استفاده می‌کند نه بازیابی پاسخ ذخیره‌شده.

تولید متن: پیش‌بینی نشانه بعدی

مدل‌های زبانی بزرگ مانند آن‌هایی که پشت چت‌بات‌ها هستند، ابتدا متن را به واحدهای کوچکی به نام نشانه‌ها (token) تقسیم می‌کنند، که می‌تواند کلمات کامل یا قسمت‌های کلمات باشند، طبق توضیحات فنی IBM درباره مدل‌های ترنسفورمر که در 28 مارس 2025 منتشر شد. هر نشانه به یک بردار عددی تبدیل می‌شود که embedding نام دارد و معنای آن را نشان می‌دهد، و یک بردار دوم برای کدگذاری موقعیت نشانه در جمله اضافه می‌شود.

مکانیسم اساسی خود-توجه است: برای هر نشانه، مدل محاسبه می‌کند که هر نشانه دیگر در ورودی چقدر مرتبط است، با استفاده از سه بردار یادگیری شده برای هر نشانه — یک query، یک key و یک value، طبق IBM. این به مدل اجازه می‌دهد تا context را از هر جای متن در یک زمان وزن‌دهی کند، به جای خواندن کلمه به کلمه مانند معماری‌های قدیمی‌تر. ترنسفورمرهای فقط decoder، معماری پشت مدل‌هایی مانند GPT، سپس متن را به صورت autoregressive تولید می‌کنند — پیش‌بینی یک نشانه در یک زمان و تغذیه آن نشانه برای پیش‌بینی نشانه بعدی، طبق توضیح IBM.

تحقیقی از Anthropic که در سایت آن منتشر شده با عنوان 'Tracing the thoughts of a large language model'، دریافت که این فرآیند پیش‌بینی نشانه بعدی می‌تواند شامل برنامه‌ریزی بیشتری باشد تا آنچه از بیرون به نظر می‌رسد. در یک آزمایش، زمانی که مدل Claude آن‌ها در حال نوشتن یک خط شاعری بود، ویژگی‌های داخلی مربوط به یک کلمه ممکن برای قافیه را فعال کرد قبل از نوشتن باقی خط، سپس الفاظ خود را تعدیل کرد تا به آن کلمه برسد. در آزمایش دیگری، مدل به سوال چندمرحله‌ای پاسخ داد — مانند شناسایی پایتخت ایالتی که دالاس در آن قرار دارد — با فعال کردن ابتدا نمایش داخلی برای 'Texas' و سپس به صورت جداگانه بازیابی 'Austin'، به جای پرش مستقیم به پاسخ، طبق گزارش Anthropic.

Anthropic همچنین شکاف بین محاسبات داخلی مدل و توضیح خود آن محاسبات را پیدا کرد: زمانی که از آن پرسیده شد چگونه یک محاسبه ریاضی را انجام داده‌است، Claude روش استاندارد را توضیح داد، اما فرآیند داخلی که Anthropic ردیابی کرد از رویکرد متفاوت، موازی استفاده کرد، ترکیب برآورد تقریبی با ردیابی جداگانه رقم نهایی.

تولید تصویر: حذف نویز مرحله به مرحله

اکثر ابزارهای متن‌به‌تصویر مدرن، از جمله Imagen گوگل، از مدل‌های diffusion استفاده می‌کنند، که در جهت مخالف تولید متن کار می‌کنند. طبق صفحه تحقیق Imagen گوگل، سیستم با یک مدل زبانی بزرگ منجمد شروع می‌کند — T5-XXL — که درخواست متنی را به یک embedding تبدیل می‌کند، همان نوع نمایش عددی مورد استفاده در مدل‌های متن. محققان گوگل توجه می‌کنند که افزایش اندازه این کدگذار متن کیفیت تصویر را بیش‌تر از افزایش اندازه بخش تولید تصویر مدل بهبود بخشید.

سپس یک مدل diffusion آن embedding متنی را می‌گیرد و یک تصویر کوچک 64x64 پیکسل تولید می‌کند. این کار را با شروع از نویز بصری تصادفی و اجرای یک فرآیند تکراری 'denoising' انجام می‌دهد، جایی که مدل به طور مکرر مقداری از نویز را پیش‌بینی و حذف می‌کند، هدایت شده توسط embedding متنی، تا اینکه یک تصویر منسجم با وضوح پایین باقی بماند، طبق توضیح گوگل. سپس تصویر با استفاده از دو مدل diffusion بیشتر بزرگ می‌شود، ابتدا به 256x256 پیکسل و سپس به 1024x1024 پیکسل، یک آبشار که گوگل آن را super-resolution diffusion می‌نامد.

برای اجازه به مدل برای پیروی دقیق‌تر از درخواست متنی، صفحه تحقیق گوگل می‌گوید Imagen 'a new thresholding diffusion sampler' را معرفی می‌کند، استفاده شده در کنار روشی معروف به classifier-free guidance، که با هم امکان استفاده از وزن‌های guidance بسیار بزرگ‌تر را فراهم می‌آورند. گوگل گزارش داد که در ارزیابی‌های انسانی، ارزیابان‌ها خروجی Imagen را در مطابقت با درخواست متنی برابر با عکس‌های مرجع واقعی قضاوت کردند، و آن را نسبت به سایر سیستم‌های متن‌به‌تصویر، از جمله DALL-E 2، در یک معیار ساخته‌شده توسط گوگل به نام DrawBench ترجیح دادند.

تولید کد: پیشنهادات ساخته‌شده از context

دستیاران کدنویسی هوش مصنوعی مانند GitHub Copilot همان رویکرد پیش‌بینی نشانه بعدی مبتنی بر ترنسفورمر را کاربرد می‌دهند که برای متن عمومی استفاده می‌شود، اما به‌طور خاص برای کد برنامه‌ای آموزش دیده و سازگار‌شده برای محیط کار توسعه‌دهنده. طبق مستندات خود GitHub، Copilot در دو حالت اصلی کار می‌کند: یک حالت 'assistive' که کد را پیشنهاد می‌دهد، سوالات را پاسخ می‌دهد یا کد را توضیح می‌دهد در حالی که توسعه‌دهنده تایپ می‌کند، و یک حالت 'agentic' که در آن توسعه‌دهنده هدفی را شرح می‌دهد و Copilot از طریق مراحل متعدد کار می‌کند — تحقیق در مخزن، پیشنهاد برنامه، ویرایش فایل‌ها، و اجرای ابزارها برای تکمیل یک کار.

مستندات GitHub بیان می‌کند که توانایی‌های Copilot همچنین تا سفارش‌سازی‌ها گسترش می‌یابند، مانند دستورالعمل‌های مخصوص مخزن و یکپارچگی ابزارهای خارجی، و برخی از ویژگی‌ها به صورت asynchronous کار می‌کنند، اجازه‌ دادن به یک عامل کدنویسی برای انجام تغییرات و باز کردن یا به‌روزرسانی pull request‌ها بدون نظارت مداوم. GitHub به صورت عمومی هر مدل استفاده‌شده را مشخص نمی‌کند یا جزئیات فنی کامل نحوه انتخاب context و ارسال به مدل زیربنایی را بیان نمی‌کند، طبق مستندات فعلی آن.

مقایسه این سه مورد

هر سه رویکرد به داده‌های آموزشی وابسته‌اند: الگوهای داخلی مدل از متن، تصویر یا کدی که در طول آموزش با آن مواجه شد، ناشی می‌شود، و خروجی آن دنباله یا تصویری تولید‌شده جدید است که توسط آن الگوهای یادگیری‌شده شکل‌دهی شده‌است تا اینکه کپی از هر نمونه آموزشی واحد نباشد.