AI 聊天機器人如 ChatGPT 和 Claude 如何實際運作的解釋

數百萬人每天都在 ChatGPT、Claude、Gemini 或類似的工具中輸入問題，但其背後的軟體通常被描述為神秘的「黑盒」。根據 Google 的機器學習速成課程和科學作家 Timothy B. Lee 在 Understanding AI 上發佈的解釋，核心機制比聽起來要簡單得多：大型語言模型（LLM）是一個神經網路，經過訓練可以根據之前的所有內容預測下一個小塊文本，稱為符號。

從詞彙到數字：符號和嵌入

在 LLM 能夠處理文本之前，它將提示分解為符號——根據 Google 的開發者文檔，符號可以是一個完整單詞、單詞的一部分或單個字符的單位。每個符號都被轉換成一個向量，一個稱為嵌入的長數字列表，旨在捕捉有關符號含義的內容。Understanding AI 的解釋者將其與地理坐標進行比較：具有相似含義的詞彙最終會在廣大的數字空間中彼此靠近，就像附近的城市共享相似的緯度和經度一樣。

注意力：模型如何追蹤上下文

幾乎所有現代 LLM 背後的架構都被稱為 Transformer。Google 的速成課程解釋說 Transformer 依賴於一種稱為自注意力的機制，它計算文本中的每個符號應該如何影響每個其他符號的解釋。Understanding AI 使用查詢和鍵向量來說明這一點：每個詞彙實際上都會建立一個檢查清單，記錄它正在尋找的其他詞彙類型，注意力在整個句子中匹配這些檢查清單，以便模型可以，例如，確定代詞如「它」指的是哪個名詞。

這一步之後是前饋層，根據 Understanding AI 的說法，這些層處理每個詞彙的更新表示並推動模型預測應該出現的下一個符號。因為注意力讓每個符號直接查看其他每個符號而不管距離，Transformer 比之前的順序模型更一致地處理長而複雜的段落。

訓練：數十億次猜測，不需要人工標籤

LLM 主要通過無監督學習進行訓練，涉及掩蓋或下一個符號預測，這意味著系統在大部分訓練中沒有被給予手寫的「正確答案」。相反，Google 的文檔描述了一個過程，其中真實文本中的符號被隱藏，模型必須猜測它們；Understanding AI 以跨越從書籍、網站和其他來源抓取的大量文本的下一個詞預測的方式描述了相同的想法。網路內部的參數——Understanding AI 引用了 GPT-3 的 1,750 億個，在大約 5,000 億個詞上進行訓練——開始時隨機設置，然後逐步調整，一次預測一次，直到模型的猜測與真實文本相匹配。

將原始模型轉變為有幫助的助手

僅經過訓練預測下一個符號的模型不會自動成為禮貌地跟隨指令的聊天機器人。Hugging Face 關於強化學習的技術解釋器（RLHF）描述了 OpenAI 等公司用來將基礎模型轉換為助手的額外步驟。首先，預訓練模型可以通過在示例對話上進行監督微調來改進。其次，人工審查者對同一提示的多個模型響應進行排名，這些排名訓練一個單獨的獎勵模型，該模型學習像人一樣對輸出進行評分。

在第三階段，使用強化學習（通常是近端策略優化）調整原始模型，以便它產生獎勵模型高評分的響應，同時數學懲罰防止它與其原始行為偏差太大以至於開始純粹為了操縱獎勵得分而生成無意義的內容，根據 Hugging Face 對該方法的描述。

為什麼聊天機器人仍然會編造內容

OpenAI 研究人員發佈的一篇論文《語言模型為什麼會產生幻覺》可在 arXiv 上獲得，辯稱虛構的答案並不只是一個要被修補的錯誤。該論文將幻覺歸因於兩個相關的原因：模型在預訓練期間學習預測看似合理的延續方式的統計副產品，以及之後模型的評估方式。該論文指出，大多數基準和排行榜將答案評分為正確或錯誤，並將承認不確定性——「我不知道」——視為錯誤的答案。這種設置會獎勵自信的猜測而不是對不確定性的誠實，這促使模型繼續產生流暢的、看似具體的陳述，即使它們缺乏可靠的依據。

模型實際上在做什麼，用一句話說

綜合這些來源中描述的過程，是這樣的：聊天機器人將提示轉換為符號，將其轉換為數字嵌入，使用自注意力層來衡量每個符號與其他符號的關係，並反覆預測單個最可能的下一個符號——一個過程在預訓練之後由人工反饋塑造，旨在使這些預測類似於有幫助的、跟隨指令的答案，而不是原始互聯網文本。