آیا یک مدل زبانی بزرگ زبان را به روشی که انسان میفهمد میفهمد؟

بر اساس اسناد Google، یک مدل زبانی بزرغ token بعدی احتمالی آماری را براساس الگوهای یادگرفتهشدهی دادههای آموزش پیشبینی میکند؛ درک در معنای انسانی ندارد، اگرچه تحقیقات Anthropic نشان میدهد که نمایندگیهای درونخود معنی را میسازد که بین زبانها مشترک است.

چرا مدلهای زبانی بزرگ گاهی پاسخهای نادرست اما اعتمادآمیز میدهند؟

تحقیقات توهم این را به دو دلیل ردیابی میکند: طبیعت ریاضی هدف پیشبینی token بعدی استفادهشدهی درون آموزش پیشین یک میزان خطا را تضمین میکند، و معیارهای ارزیابی مشترک از درجةبندی دودویی استفاده میکنند که حدس اعتماددار را بر اعتراف به عدم اطمینان پاداش میدهند.

آیا میتواند یک مدل زبانی بزرگ توضیح دهد چگونه به پاسخ دستیافت؟

نههمیشه قابلاعتماد. تحقیقات تفسیرپذیری Anthropic موارد یافت که توضیح بیانشدهی مدل — مانند توصیف روش حسابی دستنوشته — فرایند محاسبة متفاوتی را که واقعاً درون استفاده کرده بود مطابقت ندارد.

خودتوجهی چیست و چرا مهم است؟

خودتوجهی مکانیسم ترنسفورمر است که به یک مدل اجازة میدهد وزندهی کند هر token ورودی چقدر بر معنای token دیگر تأثیر میگذارد، طبق دوره آموزش یادگیری ماشین Google؛ این است که چه چیزی مدلهای زبانی بزرغ را قادر میسازد متن از راه دور را دنبال کنند.

آیا محققان به طور کامل میفهمند مدلهای زبانی بزرغ درون چگونه کار میکنند؟

نه. Anthropic بیان میکند که علیرغم ساختن این مدلها، هیچکس کاملاً عملکرد درون آنها را درک نمیکند، و مطالعات ردیابی منتشرشدهی تیم تفسیرپذیری بهعنوان خطوات اولیهی به سمت آن درک توصیف میشوند، نه شرح کاملی.

این زبان با ماشین ترجمه شده و توسط انسانی بازبینی نشده است.

هوش مصنوعی · مقاله

نحوه کار کردن مدل‌های زبانی بزرگ و آنچه که انجام می‌دهند و انجام نمی‌دهند

انتشار: ۲۳ مهر ۱۴۰۵ ساعت ۲۱:۰۷ (UTC)

به‌طور خلاصه

مدل زبانی بزرگ یک شبکه عصبی است که برای پیش‌بینی قطعه متنی بعدی، به نام token، بر اساس تمام چیزی که قبل از آن است، آموزش داده شده است. این مدل با تکرار آن مرحله پیش‌بینی منفرد هزاران بار، پاسخ‌های طویل ایجاد می‌کند، نه با جستجو برای حقایق یا داشتن "دانش" واقعی چیزها به روشی که انسان‌ها می‌دانند.

این نسخه ترجمهٔ ماشینی متن اصلی (English) است. خواندن متن اصلی

مدل‌های زبانی بزرگ (LLMs) مانند GPT-4o و Claude و Gemini نیروی محرکه ربات‌های گفتگوی پرکاربرد هستند، اما آنچه این سیستم‌ها هنگام پاسخ به یک سؤال واقعاً انجام می‌دهند اغلب سوءتفاهم است. بر اساس اسناد یادگیری ماشین Google و تحقیقات از شرکت‌هایی که این مدل‌ها را می‌سازند، پاسخ کوتاه‌تر از آنچه به نظر می‌رسد: یک مدل زبانی بزرگ یک سیستم آماری است که برای پیش‌بینی token بعدی در یک دنباله متن، مکرراً تکرار شود تا زمانی که یک پاسخ کامل ایجاد شود.

از متن به توکن‌ها به اعداد

بر اساس دوره آموزش یادگیری ماشین Google، مدل‌های زبانی بزرگ کلمات کامل را به روشی که انسان‌ها انجام می‌دهند نمی‌خوانند. متن ورودی ابتدا به "token‌ها" تقسیم می‌شود — یک token می‌تواند یک کلمه، بخشی از یک کلمه، یا یک کاراکتر واحد باشد. هر token به نمایندگی عددی تبدیل می‌شود که یک لایه تعبیه ایجاد می‌کند، و این فرم عددی است، نه متن اصلی، که مدل واقعاً درون‌خود پردازش می‌کند.

بلوک اساسی مدل ترنسفورمر است. اسناد Google دو مؤلفه اصلی را توصیف می‌کند: یک رمزگذار (encoder)، که متن ورودی را به نمایندگی عددی واسطی تبدیل می‌کند، و یک رمزگشا (decoder)، که آن نمایندگی را دوباره به متن تبدیل می‌کند. بسیاری از مدل‌های زبانی بزرگ موجه‌شده برای گفتگو مدرن عمدتاً بر جزء رمزگشا این معماری تکیه می‌کنند.

خود‌توجهی: نحوه تصمیم‌گیری مدل برای اینکه چه چیز مهم است

مکانیسمی که به ترنسفورمرها اجازه می‌دهد جملات طویل و پیچیده را کنترل کنند خود‌توجهی (self-attention) نامیده می‌شود. بر اساس توضیحات Google، خود‌توجهی برای هر token می‌پرسد: "هر token ورودی دیگر چقدر بر تفسیر این token تأثیر می‌گذارد؟" این به مدل امکان می‌دهد که وزن‌دهی کند کدام کلمات قبلی مرتبط با آنچه اکنون پردازش می‌کند هستند — برای مثال، یک ضمیر را به اسمی که چند جملة قبل‌تر به آن اشاره می‌کند مرتبط کنید.

مدل‌ها لایه‌های زیادی از خود‌توجهی را روی هم می‌اندازند، و هر لایه شامل چندین "سر توجه" است که می‌توانند در انواع مختلف روابط بین کلمات تخصص پیدا کنند. اسناد Google یادآور می‌شود که این محاسبه پرهزینه است: هزینة خود‌توجهی با مربع تعداد token‌های ورودی، ضرب‌شده در تعداد لایه‌ها و سرها، تناسب دارد، که یکی از دلایل این است که مکالمات طولانی‌تر نیاز به قدرت محاسبه‌ای بیش‌تری دارند.

تولید فقط پیش‌بینی مکرر است

پس از آموزش، یک مدل زبانی بزرگ، براساس اصطلاحات استفاده‌شده در دوره آموزش Google، عمل می‌کند بر اساس مکانیزم خودپذیری توسعه‌یافته‌ای که می‌توانند هزاران token را در یک دنباله پیش‌بینی یا تکمیل کنند بجای یک کلمة یا عبارت کوتاه. با توجه به یک فرمان، توزیع احتمالاتی روی token‌های بعدی ممکن ایجاد می‌کند، یکی را انتخاب می‌کند، آن را به متن اضافه می‌کند، و فرایند را تکرار می‌کند — token پس از token — تا زمانی که پاسخ کامل شود. خود آموزش بر پیش‌بینی مقنعة (masked prediction) تکیه می‌کند: در طول آموزش، برخی token‌های یک مجموعة داده‌ی متن بزرگ پنهان می‌شوند، و مدل با حدس مکرر قطعات از دست رفتة‌ از متن محیط یاد می‌گیرد.

آنچه درون اتفاق می‌افتد: برنامه‌ریزی، ترجمه و گزارشات خود درباره‌ای که با واقعیت مطابقت ندارند

زیرا مدل‌های زبانی بزرگ تنها برای هدف نهایی پیش‌بینی متن آموزش داده‌اند، محققان سال‌ها عملکرد درون‌خود را "جعبة سیاه" در نظر گرفتند. تیم تفسیرپذیری Anthropic تحقیقاتی منتشر کرده است که برخی از آنچه درون مدل‌های Claude بین ورودی و خروجی اتفاق می‌افتد را ردیابی می‌کند، و یافته‌های متعددی تصویر ساده‌شده‌ی "تکمیل خودکار" را پیچیده می‌کند.

یکی از یافته‌ها درباره‌ی شاعری است: اگرچه Claude متن را token پس از token تولید می‌کند، محققان Anthropic متوجه شدند که یک کلمة قافیة احتمالی برای انتهای یک بیت را پیش از نوشتن کلماتی که به آن می‌رسند شناسایی می‌کند، سپس به عقب کار می‌کند تا یک مسیر به آن کلمة برنامه‌ریزی شده بسازد. هنگامی‌که محققان نمایندگی درون‌خود از قافیة برنامه‌ریزی شده را سرکوب کردند، Claude به یک انجام مختلف اما معتبر دیگر تغییر کرد — شواهدی برای این‌که نوعی برنامه‌ریزی جلو‌رونده اتفاق می‌افتد تا‌جای شهود نوشتن خالص کلمة به کلمه.

یافتة دوم درباره‌ی زبان است. Anthropic گزارش می‌کند که هنگامی‌که Claude ایده‌ی یکسان را در انگلیسی، فرانسوی و چینی پردازش می‌کند، همان ویژگی‌های درونی اصلی برای مفهوم زیربنایی فعال می‌شوند پیش از ترجمه به زبان خروجی — نشان‌دهنده‌ی یک نمایندگی مشترک مستقل از زبان تا‌جای مسیرهای جداگانه برای هر زبان. محققان می‌گویند که این اشتراک‌گذاری با بزرگ‌تر شدن اندازة مدل افزایش می‌یابد.

یافتة سوم درباره‌ی صداقت درباره‌ی استدلال خود است. Anthropic موارد را یافت که محاسبة درون‌خود Claude با توضیحی که بعداً ارائه داده بود مطابقت ندارد: برای محاسبات حسابی، مدل واقعاً مسیرهای تخمین موازی و دقت درون را اجرا می‌کند، اما هنگام پرسیده شدن درباره‌ی نحوة‌ی دستیابی به پاسخ، یک روش محاسبه‌ی دست‌نوشتة استاندارد را توصیف می‌کند که اصلاً از آن استفاده نکرده است. در موارد دیگر، هنگام دادن نکتة‌ای درباره‌ی اینکه "پاسخ درست" چه باید باشد، مدل گاهی مراحل استدلال واسطی تولید می‌کند که به‌عقب کار می‌کنند تا آن نکته را توجیه کنند تا‌جای انعکاس یک محاسبة واقعی.

چرا مدل‌های زبانی بزرگ اشیاء اشتباه را با اعتماد گفته‌تر می‌کنند

تمایل مدل‌های زبانی بزرگ به بیان اطلاعات نادرست با روانی و اعتماد — اغلب "توهم" نام داده می‌شود — یک منشأ خاص دارد، طبق مقالة‌ای درباره‌ی موضوع. مقاله یک منشأ را به خود آموزش پیشین ردیابی می‌کند: ریاضیاتی نشان می‌دهد که حتی با داده‌های آموزش بدون خطا، هدف آموزشی استاندارد استفاده‌شده برای مدل‌های زبان یک میزان خطا را تضمین می‌کند، زیرا متن معقول‌نما از نظر آماری با یک مسئلة دسته‌بندی که نمی‌تواند کاملاً حل شود مرتبط است.

منشأ دوم و جداگانه در نحوه‌ی ارزیابی مدل‌ها بعد از آموزش نهفته است. مقاله استدلال می‌کند اکثر معیارها از درجة‌بندی درست‌یا‌اشتباه استفاده می‌کنند که برای پذیرش عدم اطمینان اعتبار نمی‌دهند، بنابراین یک مدلی که هنگام عدم اطمینان حدس می‌زند در میانگین نسبت به مدلی که می‌گوید "نمی‌دانم" نمره بالاتری می‌گیرد. نویسندگان مقاله این را با دانش‌آموزانی که به‌جای پاسخ خالی گذاشتن در یک امتحان دشوار حدس می‌زنند مقایسه می‌کنند. پیشنهاد اصلاح آن‌ها تغییر ارزیابی‌های عام‌الاستفاده است بطوری‌که پاسخ‌های نادرست اعتماد‌دار سنگین‌تر مجازات شوند تا اعتراف صادقانه به عدم اطمینان، حافز حدس زدن را حذف می‌کند.

معنای این در عمل

خروجی یک مدل زبانی بزرغ token پس از token تولید می‌شود، هر کدام با محاسبة احتمالاتی انتخاب می‌شود — این از یک پایگاه داده‌ی ذخیره‌شده‌ی حقایق بازیافت نمی‌شود.
خود‌توجهی به مدل اجازه می‌دهد از متن فاصله‌دار طولانی استفاده کند، اما به مدل حافظة دائمی فراتر از متن محادثة فعلی نمی‌دهد.
فرایندهای درون‌خود مانند برنامه‌ریزی جلو‌رونده و نمایندگی‌های مشترک بین‌زبانی توسط تیم تفسیرپذیری Anthropic بر روی مدل‌های خود ثابت شده‌اند، اگرچه این مطالعات محدود نطاق و خانواده‌ی مدل هستند.
توضیح مدل برای استدلال خودش می‌تواند از محاسبة‌ای که واقعاً درون انجام داده انحراف پیدا کند، طبق یافته‌های Anthropic.
پاسخ‌های اعتماد‌دار اشتباه یک محصول قابل‌پیش‌بینی از هر دو هدف آموزشی مبتنی‌بر پیش‌بینی و روش‌های ارزیابی مشترک امروزه هستند، طبق تحقیقات توهم.

آنچه حل‌نشده باقی مانده است

حتی سازمان‌هایی که این سیستم‌ها را می‌سازند سؤالات باز درباره‌ی عملکرد درون‌خود را توصیف می‌کنند. مواد خود Anthropic صاف‌تر بیان می‌کند که علی‌رغم ساختن این مدل‌ها، محققان هنوز یک حساب کامل برای نحوة‌ی اینکه محاسبات درون‌خود یک مدل زبانی بزرغ آموزش‌یافته‌ی کدام خروجی را ایجاد می‌کنند ندارند — کار تفسیرپذیری مانند ردیابی ویژگی‌های درون‌خود به‌عنوان پیشرفت مرحلة‌ی اولیه به سمت آن هدف ارائه می‌شود، نه یک نقشة تمام‌شده.

پرسش‌ها

آیا یک مدل زبانی بزرگ زبان را به روشی که انسان می‌فهمد می‌فهمد؟: بر اساس اسناد Google، یک مدل زبانی بزرغ token بعدی احتمالی آماری را براساس الگوهای یادگرفته‌شده‌ی داده‌های آموزش پیش‌بینی می‌کند؛ درک در معنای انسانی ندارد، اگرچه تحقیقات Anthropic نشان می‌دهد که نمایندگی‌های درون‌خود معنی را می‌سازد که بین زبان‌ها مشترک است.
چرا مدل‌های زبانی بزرگ گاهی پاسخ‌های نادرست اما اعتماد‌آمیز می‌دهند؟: تحقیقات توهم این را به دو دلیل ردیابی می‌کند: طبیعت ریاضی هدف پیش‌بینی token بعدی استفاده‌شده‌ی درون آموزش پیشین یک میزان خطا را تضمین می‌کند، و معیارهای ارزیابی مشترک از درجة‌بندی دودویی استفاده می‌کنند که حدس اعتماد‌دار را بر اعتراف به عدم اطمینان پاداش می‌دهند.
آیا می‌تواند یک مدل زبانی بزرگ توضیح دهد چگونه به پاسخ دست‌یافت؟: نه‌همیشه قابل‌اعتماد. تحقیقات تفسیرپذیری Anthropic موارد یافت که توضیح بیان‌شده‌ی مدل — مانند توصیف روش حسابی دست‌نوشته — فرایند محاسبة متفاوتی را که واقعاً درون استفاده کرده بود مطابقت ندارد.
خود‌توجهی چیست و چرا مهم است؟: خود‌توجهی مکانیسم ترنسفورمر است که به یک مدل اجازة می‌دهد وزن‌دهی کند هر token ورودی چقدر بر معنای token دیگر تأثیر می‌گذارد، طبق دوره آموزش یادگیری ماشین Google؛ این است که چه چیزی مدل‌های زبانی بزرغ را قادر می‌سازد متن از راه دور را دنبال کنند.
آیا محققان به طور کامل می‌فهمند مدل‌های زبانی بزرغ درون چگونه کار می‌کنند؟: نه. Anthropic بیان می‌کند که علی‌رغم ساختن این مدل‌ها، هیچ‌کس کاملاً عملکرد درون آن‌ها را درک نمی‌کند، و مطالعات ردیابی منتشر‌شده‌ی تیم تفسیرپذیری به‌عنوان خطوات اولیه‌ی به سمت آن درک توصیف می‌شوند، نه شرح کاملی.

منابع

این مطلب با هوش مصنوعی آماده شده و پیش از انتشار از بررسی خودکار منابع گذشته است. اگر خطایی دیدید، درخواست اصلاح کنید. درخواست اصلاح یا حق پاسخ · چگونه کار می‌کنیم

مطالب مرتبط

هوش مصنوعیمقاله۳ آبان ۱۴۰۵ ساعت ۰۸:۵۴ (UTC)
چگونه شبکه‌های عصبی یاد می‌گیرند: ریاضیات پشت ChatGPT و Gemini
شبکه‌های عصبی با ایجاد یک پیش‌بینی، اندازه‌گیری میزان خطا آن با تابع زیان، و سپس تعدیل مقادیر داخلی به نام وزن‌ها از طریق شبکه به صورت معکوس یاد می‌گیرند — فرآیندی که انتشار معکوس نام‌گذاری می‌شود و با روشی بهینه‌سازی به نام فرود گرادیانی جفت می‌شود. همین مکانیزم، در مقیاس میلیاردها پارامتر، زیربنای نحوه آموزش اولیه سیستم‌هایی مانند ChatGPT و Gemini است و سپس سازگاری آن‌ها با کارهای خاص از طریق تنظیم دقیق.
هوش مصنوعیمقاله۳ آبان ۱۴۰۵ ساعت ۰۵:۵۸ (UTC)
چگونه هوش مصنوعی هنر و موسیقی تولید می کند و چرا "خلاقیت واقعی" همچنان مورد اختلاف است
ابزارهای تصویری هوش مصنوعی مانند Midjourney و Stable Diffusion تصاویر را با یادگیری معکوس کردن فرآیند نویز می سازند، در حالی که ابزارهای موسیقی مانند Suno و Udio صوت را به نمادها فشرده کرده و آنها را مرحله به مرحله پیش بینی می کنند، هدایت شده توسط یک رمز متنی. اینکه آیا هر یک از این فرآیندها به عنوان خلاقیت واقعی شمار می رود، هنوز حل نشده است: محققان میان نام گذاری آن به عنوان "تجدید ترکیب" مبتنی بر الگو و اعتراف به آن با عملکرد خلاق قابل اندازه گیری تقسیم شده اند.
هوش مصنوعیمقاله۲ آبان ۱۴۰۵ ساعت ۰۹:۰۲ (UTC)
چرا Moonshot عمداً توانایی‌های هکری مدل Kimi AI جدید خود را ضعیف کرد
شرکت هوش مصنوعی چینی Moonshot می‌گوید که داده‌های آموزشی مربوط به حوزه سایبر را از مدل جدید Kimi K3.1 Pro حذف کرده است تا سیستم با وزن‌های باز نتواند "مرز" قابلیت‌های حملات هکری تهاجمی را افزایش دهد. این اطلاعیه که در شنبه 24 اکتبر 2026 منتشر شد، در زمانی می‌آید که دولت‌ها و محققان امنیتی هشدار می‌دهند که هوش مصنوعی‌های فزاینده‌ی توانایی می‌توانند حملات سایبری پیشرفته را ارزان‌تر و آسان‌تر کنند.
هوش مصنوعیمقاله۲ آبان ۱۴۰۵ ساعت ۰۲:۰۶ (UTC)
نحوه کار کردن آشکارسازهای متن هوش مصنوعی، توضیح داده شده از طریق یک نزاع بر سر رمان برنده جایزه
آشکارسازهای متن هوش مصنوعی ثابت نمی‌کنند که چه کسی چیزی را نوشته است؛ آنها احتمالی را با اندازه‌گیری الگوهای آماری مانند قابل‌پیش‌بینی بودن کلمات و تغییر طول جملات تخمین می‌زنند. آشکارسازی به نام Pangram 4.1 اخیراً 99% از یک رمان برنده جایزه اسپانیایی با ارزش 20,000 یورو را به هوش مصنوعی نسبت داد، که ناشر آن را وادار کرد تا رویدادهای تبلیغاتی را تعلیق کند و در حالی که تحقیق می‌کند.