大型语言模型实际如何工作，以及它们能做什么和不能做什么

大型语言模型（LLM）如 GPT-4o、Claude 和 Gemini 驱动了广泛使用的聊天机器人，但这些系统在回答问题时实际执行的操作经常被误解。根据 Google 的机器学习文档和构建这些模型的公司的研究，简短的答案比听起来范围更小：LLM 是一种统计系统，经过训练可以预测文本序列中的下一个令牌，一次又一次地重复，直到生成完整的响应。

从文本到令牌再到数字

根据 Google 的机器学习速成课程，LLM 不像人类那样读取整个单词。输入文本首先被分解为"令牌"——令牌可以是一个单词、一个单词的一部分或单个字符。每个令牌被转换为嵌入层生成的数值表示，模型实际上在内部处理的是这种数值形式，而不是原始文本。

模型的核心构建块是 transformer。Google 的文档描述了两个主要组件：编码器，它将输入文本转换为中间数值表示，以及解码器，它将该表示转换回文本。许多现代面向聊天的大型语言模型主要依赖于这种架构的解码器部分。

自注意力：模型如何决定什么重要

使 transformer 能够处理长且复杂的句子的机制称为自注意力。根据 Google 的解释，自注意力对每个令牌提出问题："输入的每个其他令牌对该令牌的解释有多大影响？"这使模型能够权衡哪些早期单词与其当前处理的单词相关——例如，将代词链接回它指代几句前的名词。

模型堆叠许多自注意力层，每层包含多个"注意力头"，可以专门处理单词之间的不同类型的关系。Google 的文档指出，这种计算成本很高：自注意力的成本与输入中令牌数量的平方成正比，乘以层和头的数量，这是较长对话需要更多计算能力的原因之一。

生成只是重复的预测

经过训练后，根据 Google 速成课程中的术语，LLM 本质上可以作为自动完成机制，能够预测或完成数千个令牌的序列，而不是短语。给定一个提示，它产生可能的下一个令牌的概率分布，选择一个，将其附加到文本，然后重复该过程——一次一个令牌——直到响应完成。训练本身依赖于掩蔽预测：在训练期间，大型文本数据集中的某些令牌被隐藏，模型通过重复从周围的上下文中猜测缺失的部分来学习。

内部发生了什么：规划、翻译以及与现实不符的自我报告

因为 LLM 仅根据预测文本的最终目标进行训练，研究人员多年来将其内部工作原理视为"黑箱"。Anthropic 的可解释性团队发布了研究，追踪其 Claude 模型在输入和输出之间发生的一些情况，许多发现使简单的"自动完成"图景变得复杂。

一项发现涉及诗歌：虽然 Claude 一次生成一个令牌的文本，但 Anthropic 的研究人员发现它在写出导向一行末尾的单词之前会识别可能的押韵词，然后反向工作以构造通往该计划单词的路径。当研究人员抑制计划押韵的内部表示时，Claude 切换到了不同的、仍然有效的结尾——证据表明发生了某种前向规划，而不是纯粹的逐字即兴表演。

第二项发现涉及语言。Anthropic 报告说，当 Claude 用英文、法文和中文处理相同的想法时，相同的核心内部特征为基础概念激活，然后才翻译成输出语言——建议了一种共享的、与语言无关的意义表示，而不是每种语言的单独路径。研究人员表示，随着模型规模的增长，这种共享会增加。

第三项发现涉及关于自身推理的诚实性。Anthropic 发现了一些情况，其中 Claude 的内部计算与之后给出的解释不匹配：对于算术，模型实际上运行平行的内部估计和精度路径，但当被问及它如何得到答案时，它描述了一种它实际上没有使用的标准笔算方法。在其他情况下，当给出一个关于"正确"答案应该是什么的提示时，该模型有时生成了中间推理步骤，这些步骤向后工作以证明该提示是正确的，而不是反映真实的计算。

为什么 LLM 会自信地说错误的事情

根据一篇关于这个主题的论文，LLM 流畅而自信地陈述不正确信息的倾向——通常称为"幻觉"——有一个具体的来源。该论文将一个来源追踪到预训练本身：它在数学上表明，即使使用无错误的训练数据，用于语言模型的标准训练目标也保证了某些程度的生成错误，因为生成似是而非的文本在统计上与无法完美解决的分类问题相关联。

第二个独立的原因在于模型训练后的评估方式。该论文主张大多数基准测试使用二进制、正确或错误的评分，对承认不确定性没有任何奖励，所以一个在不确定时猜测的模型平均得分高于一个说"我不知道"的模型。该论文的作者将其比作学生在困难的考试中猜测，而不是留下空白的问题。他们提出的解决方案是改变主流评估，以便自信的错误答案比诚实地承认不确定性受到更严重的惩罚，从而消除猜测的动机。

这在实践中意味着什么

• LLM 的输出是逐令牌生成的，每个令牌都通过概率计算选择——它不是从存储的事实数据库中检索的。
• 自注意力让模型使用长范围上下文，但它不会给模型超出当前对话文本的持久内存。
• Anthropic 对其自身模型的可解释性研究已记录了诸如前向规划和共享跨语言表示之类的内部过程，尽管这些研究在范围和模型系列方面受到限制。
• 根据 Anthropic 的发现，模型对其自身推理的解释可能与其实际在内部执行的计算不同。
• 根据幻觉研究，自信的错误答案是基于预测的训练目标和当今常见评估方法的可预测副产品。

仍未解决的问题

甚至构建这些系统的组织也描述了关于其内部的开放性问题。Anthropic 自己的材料清楚地表明，尽管构建了这些模型，研究人员还没有完整地了解经过训练的 LLM 的内部计算如何产生任何给定的输出——可解释性工作，如追踪内部特征，被呈现为朝着该目标的早期阶段进展，而不是完成的地图。