نحوه کار چت بات های هوش مصنوعی مثل ChatGPT و Claude شرح داده شده است

صدها میلیون نفر هر روز سوالات را به ChatGPT، Claude، Gemini یا ابزارهای مشابه تایپ می کنند، اما نرم افزار پشت آنها اغلب به عنوان یک "جعبه سیاه" مرموز توصیف می شود. طبق دوره Machine Learning Crash Course گوگل و توضیح مقاله توسط نویسنده علم Timothy B. Lee منتشر شده در Understanding AI، مکانیسم اساسی ساده تر از آن چه به نظر می رسد قابل توصیف است: یک مدل زبان بزرگ (LLM) یک شبکه عصبی است که برای پیش بینی قطعه کوچک بعدی متن آموزش داده شده است که به نام توکن نامیده می شود، با توجه به هر چیزی که قبل از آن آمده است.

از کلمات به اعداد: توکن ها و جاسازی

قبل از اینکه LLM بتواند متن را پردازش کند، یک درخواست را به توکن ها - واحدهایی که می توانند یک کلمه کامل، بخشی از یک کلمه یا یک کاراکتر واحد باشند تقسیم می کند، طبق مستندات توسعه دهنده گوگل. هر توکن به یک بردار تبدیل می شود، یک فهرست طولانی از اعداد به نام embedding که قرار است چیزی در مورد معنی توکن را ثبت کند. توضیح Understanding AI این را با مختصات جغرافیایی مقایسه می کند: کلماتی با معانی مشابه به طور نزدیکی در یک فضای عددی وسیع قرار می گیرند، مانند شهرهای نزدیک که دارای عرض و طول جغرافیایی مشابه هستند.

توجه: چگونه مدل زمینه را پیگیری می کند

معماری که تقریباً تمام مدل های زبان مدرن را پشتیبانی می کند، Transformer نام دارد. دوره Crash Course گوگل توضیح می دهد که Transformer به مکانیسمی به نام self-attention متکی است، که محاسبه می کند چقدر هر توکن در متن باید تفسیر هر توکن دیگری را تحت تأثیر قرار دهد. Understanding AI این را با بردارهای پرس و جو و کلید نشان می دهد: هر کلمه عملاً فهرستی از نوع کلمات دیگری را که می خواهد بیابد تدوین می کند، و توجه آن فهرست ها را در تمام جملات مطابقت می دهد تا مدل بتواند برای مثال مشخص کند کدام اسم معین است که ضمیری مثل "it" به آن اشاره می کند.

این مرحله توسط لایه های feed-forward دنبال می شود که نمایندگی به روز شده هر کلمه را پردازش می کنند و مدل را به سمت پیش بینی اینکه توکن بعدی باید چه باشد هدایت می کنند، همانطور که Understanding AI یادآوری می دهد. از آنجایی که توجه به هر توکن اجازه می دهد که مستقیماً به هر توکن دیگری نگاه کند صرف نظر از فاصله، Transformers طول مقاطع پیچیده و طولانی را بیش از حد متوالی مدل هایی که قبل از آنها آمده بود مدیریت می کنند.

آموزش: میلیارد ها حدس، بدون برچسب انسانی مورد نیاز

LLMs عمدتاً از طریق یادگیری بی نظارت در پیش بینی masked یا next-token آموزش داده می شوند، به این معنا که سیستم برای بیشتر آموزش خود پاسخ های "صحیح" نوشته شده با دست داده نمی شود. در عوض، مستندات گوگل فرآیندی را توضیح می دهد که در آن توکن های متن واقعی مخفی می شوند و مدل باید آنها را حدس بزند؛ Understanding AI همان ایده را از نظر پیش بینی کلمه بعدی در مجموعات بزرگ متن استخراج شده از کتاب ها، وب سایت ها و منابع دیگر توضیح می دهد. پارامترهای داخل شبکه - Understanding AI 175 میلیارد آنها را در GPT-3 نقل می کند، بر اساس تقریباً 500 میلیارد کلمه آموزش داده شده - در ابتدا به صورت تصادفی تعیین می شوند و به تدریج تنظیم می شوند، حدس به حدس، تا زمانی که حدس های مدل با متن واقعی منطبق شوند.

تبدیل یک مدل خام به یک دستیار مفید

مدلی که فقط برای پیش بینی توکن بعدی آموزش داده شده است، به طور خودکار یک چت بات نیست که به طور محترمانه دستورالعمل ها را دنبال می کند. توضیح فنی Hugging Face در مورد Reinforcement Learning from Human Feedback (RLHF) مراحل اضافی را توصیف می کند که شرکت هایی مثل OpenAI از آنها استفاده می کنند تا یک مدل پایه را به یک دستیار تبدیل کنند. اولاً، مدل پیش آموزش شده می تواند از طریق fine-tuning نظارت شده بر روی محادثات مثال بهبود یابد. ثانیاً، بازبین های انسانی پاسخ های متعدد مدل به همان درخواست را رتبه بندی می کنند، و این رتبه بندی ها یک مدل پاداش جداگانه را آموزش می دهند که یاد می گیرند نتایج را به روشی که یک فرد می گذارد امتیاز دهند.

در مرحله سوم، مدل اصلی با استفاده از reinforcement learning - معمولاً Proximal Policy Optimization - تنظیم می شود تا پاسخ هایی تولید کند که مدل پاداش آن را به نمره های بالا می دهد، در حالی که یک جریمه ریاضی آن را از انحراف بیش از حد آن از رفتار اصلی خود که شروع به ایجاد مسخره حرف برای بازی بالا بردن نمره پاداش می کند دور می دارد، طبق توضیح Hugging Face روش.

چرا چت بات ها همچنان اشیاء را ساختگی می کنند

یک مقاله تحقیقی منتشر شده توسط محققان OpenAI، "Why Language Models Hallucinate," در دسترس روی arXiv، استدلال می کند که پاسخ های ساختگی صرفاً یک اشکال نیستند که باید برطرف شود. مقاله hallucinations را به دو دلیل مرتبط نسبت می دهد: یک محصول آماری از نحوه یادگیری مدل ها برای پیش بینی ادامه های معقول در طول pretraining، و روشی که مدل ها بعداً ارزیابی می شوند. اکثر معیارها و جداول رتبه بندی یک پاسخ را درست یا غلط می دهند و اعتراف به عدم اطمینان - یک "I don't know" - را به عنوان پاسخ اشتباه درمان می کنند، همانطور که مقاله بیان می کند. این راه اندازی حدس های مطمئن را به جای صراحت در مورد عدم اطمینان پاداش می دهد، که مدل ها را به ادامه تولید بیانیه های روان و خاص به صدا می کشاند حتی زمانی که آنها فاقد پایه قابل اعتماد برای آنها هستند.

آنچه مدل در واقع در یک جملۀ واحد انجام می دهد

در کل، فرآیند توصیف شده در تمام این منابع عبارت است از: یک چت بات درخواست را به توکن تبدیل می کند، آنها را به embeddings عددی تبدیل می کند، از لایه های self-attention برای سنجش نحوه مرتبط بودن هر توکن با توکن دیگر استفاده می کند، و مکرراً پیش بینی می کند که احتمالاً توکن بعدی چیست - فرآیندی که به بعد از pretraining، بازخورد انسانی طراحی شده برای اینکه آن پیش بینی ها مثل پاسخ های مفید و دستور پیروی کنند بدون متن اینترنت خام شکل می گیرد.