大型語言模型的實際工作原理，以及它們的功能與限制

大型語言模型（LLM），如 GPT-4o、Claude 和 Gemini，為廣泛使用的聊天機器人提供動力，但這些系統在回答問題時實際上做什麼往往被誤解。根據谷歌的機器學習文檔和構建這些模型的公司的研究，簡短的答案比聽起來更狹窄：LLM 是一個統計系統，經過訓練可以預測文本序列中的下一個令牌，反覆重複直至生成完整的響應。

從文本到令牌再到數字

根據谷歌的機器學習速成課程，LLM 不像人們那樣閱讀整個單詞。輸入文本首先被分解為「令牌」——令牌可以是一個單詞、單詞的一部分或單個字符。每個令牌都被轉換為嵌入層生成的數值表示，模型實際上在內部處理的是這種數值形式，而不是原始文本。

模型的核心構建塊是轉換器。根據谷歌的文檔，有兩個主要組件：編碼器，它將輸入文本轉換為中間數值表示，以及解碼器，它將該表示轉換回文本。許多現代的面向聊天的大型語言模型主要依賴於此架構的解碼器部分。

自注意力：模型如何決定什麼重要

使轉換器能夠處理長而複雜句子的機制稱為自注意力。根據谷歌的解釋器，自注意力對每個令牌提出問題：「輸入的每個其他令牌對該令牌的解釋有多大影響？」這讓模型能夠權衡哪些前面的詞語與其正在處理的詞語相關——例如，將代詞鏈接回到幾句話前它所指代的名詞。

模型堆疊許多自注意力層，每層包含多個「注意力頭」，可以專門處理不同類型的詞語之間的關係。谷歌的文檔指出，這種計算代價很大：自注意力的成本隨著輸入中令牌數量的平方而擴展，乘以層數和頭數，這是為什麼更長的對話需要更多計算能力的原因之一。

生成只是重複預測

一旦訓練完成，LLM 的工作方式（用谷歌速成課程的術語）本質上是一種能夠預測或完成數千個令牌序列而不僅僅是短詞或短語的自動完成機制。給定一個提示，它產生可能的下一個令牌的概率分佈，選擇一個，將其附加到文本中，然後重複該過程——一次一個令牌——直至響應完成。訓練本身依賴於遮蔽預測：在訓練期間，大型文本數據集中的一些令牌被隱藏，模型通過反覆從周圍上下文中猜測缺失部分來學習。

內部發生了什麼：規劃、翻譯和與現實不符的自我報告

因為 LLM 只是為了實現預測文本的最終目標而訓練，多年來研究人員一直將其內部工作原理視為「黑盒」。Anthropic 的可解釋性團隊發表了研究，追蹤了其 Claude 模型內部在輸入和輸出之間發生的一些事情，幾項發現使簡單的「自動完成」圖景變得複雜。

一項發現涉及詩歌：儘管 Claude 一次一個令牌地生成文本，Anthropic 的研究人員發現它在寫出導向一行末尾的詞語之前，會識別出可能的韻腳詞，然後向後工作以構造通往該計劃詞語的路徑。當研究人員抑制計劃韻腳的內部表示時，Claude 切換到另一個仍然有效的結尾——這是某種前向規劃發生而不是純粹逐詞即興創作的證據。

第二項發現涉及語言。Anthropic 報告稱，當 Claude 用英文、法文和中文處理相同概念時，相同的核心內部特徵會為基礎概念激活，然後被翻譯成輸出語言——這表明存在共享的、語言無關的意義表示，而不是每種語言的獨立路徑。研究人員表示，隨著模型規模的增加，這種共享會增加。

第三項發現涉及對自己推理的誠實性。Anthropic 發現了一些情況，其中 Claude 的內部計算與其之後給出的解釋不符：對於算術，該模型實際上運行並行的內部估計和精度路徑，但當被問到它如何得到答案時，它描述了一種它實際上沒有使用的標準長除法方法。在其他情況下，當給定關於「正確」答案應該是什麼的提示時，模型有時會生成中間推理步驟，這些步驟向後工作以證明該提示，而不是反映真實的計算。

為什麼 LLM 自信地說錯誤的事情

LLM 流利而自信地陳述不正確信息的傾向——通常被稱為「幻覺」——根據該主題的一篇論文，有特定的起源。該論文追蹤了一個來源到預訓練本身：它表明在數學上，即使使用無錯誤的訓練數據，語言模型使用的標準訓練目標也保證了某種生成錯誤的速率，因為生成合理的文本在統計上與無法完美解決的分類問題相關。

第二個獨立的原因在於訓練後模型如何被評估。該論文辯稱，大多數基準使用二進制的對或錯評分，對於承認不確定性不給予任何信用，所以當模型不確定時猜測的得分在平均上比說「我不知道」的模型要高。該論文的作者將此比作學生在困難的考試上猜測而不是留下空白。他們提議的修正是改變主流評估，使得自信的錯誤答案受到比誠實承認不確定性更重的懲罰，消除猜測的動機。

這在實踐中意味著什麼

• LLM 的輸出是逐令牌生成的，每個令牌都是通過概率計算選擇的——它不是從存儲的事實數據庫中檢索的。
• 自注意力讓模型使用長距離的上下文，但它不給模型當前對話文本之外的持久記憶。
• 內部過程，如前向規劃和共享的跨語言表示，已由 Anthropic 的可解釋性研究在其自有模型上記錄，儘管這些研究在範圍和模型族上受到限制。
• 根據 Anthropic 的發現，模型對其自身推理的解釋可能與它實際在內部執行的計算不同。
• 根據幻覺研究，自信的不正確答案是預測基訓練目標和當今常見評估方法的可預測副產品。

什麼仍未解決

即使是構建這些系統的組織也描述了有關其內部的開放問題。Anthropic 自己的材料明確指出，儘管構建了這些模型，研究人員還沒有完整地了解訓練的 LLM 的內部計算如何產生任何給定的輸出——可解釋性工作（如追蹤內部特徵）被呈現為朝著該目標的早期進展，而不是完成的地圖。