AI 图像生成如何工作：扩散模型解释

从 2022 年开始出现的多个 AI 图像生成器——包括 OpenAI 的 DALL-E 2、Midjourney 和 Stability AI 的 Stable Diffusion——都基于一种称为扩散的技术构建。这些系统不是一笔一笔地绘制图像，而是学会了反转一个数学过程，该过程逐渐用噪声破坏图像，然后从随机静态开始向后运行该过程。

核心理念：学会消除噪声

图像生成的扩散模型在 2020 年的论文《去噪扩散概率模型》中得到了正式化，作者为 Jonathan Ho、Ajay Jain 和 Pieter Abbeel，发布在研究资源库 arXiv 上。这种方法受到非平衡热力学的启发，分为两个阶段。在"正向"阶段（仅在训练中使用），小量随机（高斯）噪声被添加到真实照片中的许多步骤上，直到图像与静态无法区分。在"反向"阶段，神经网络被训练以逐步预测和减去该噪声，直到恢复原始图像。

训练后，网络不再需要真实照片来启动。它可以从纯随机噪声的画布开始，运行与训练期间相同的去噪步骤，产生以前不存在的全新图像。2020 年的论文报告称，在称为 CIFAR-10 的数据集上，其模型达到了强大的图像质量分数，在更大的 256x256 图像上，匹配了 ProgressiveGAN 的样品质量，ProgressiveGAN 是基于不同架构的早期生成技术。

神经网络工作的地方：U-Net 和文本指导

执行去噪的网络通常是 U-Net，一种将图像缩小以捕获整体结构然后将其重建为完全分辨率的架构类型。在 Stable Diffusion 在 GitHub 上的技术文档中，该模型被描述为使用 860 百万参数 U-Net 来运行扩散过程，以及一个单独的自动编码器，该编码器将图像压缩为较小的数学表示，并将结果解压缩回完整图像。

为了遵循书面提示，系统需要一种方法来连接单词和像素。根据相同的 Stable Diffusion 文档，该模型使用冻结的 CLIP ViT-L/14 文本编码器——一个单独训练以匹配文本和图像的组件——将提示转化为数值表示，指导每个去噪步骤，使网络以将新兴图像引向单词描述的内容的方式移除噪声。

• 训练：真实图像在许多步骤中逐步用随机噪声破坏，直到只剩下静态。
• 学习：训练 U-Net 神经网络以预测和移除在每个步骤中添加的噪声。
• 文本调理：单独的文本编码器（如 CLIP）将提示转化为去噪网络的数值指南。
• 生成：从随机噪声开始，训练过的网络在文本指导下逐步移除噪声，直到出现图像。
• 解码（仅限潜在模型）：压缩的内部表示被转换回完整分辨率的图像。

像素空间与潜在空间：为什么 Stable Diffusion 在笔记本电脑上运行

并非所有扩散模型在内部工作方式都相同。根据 2022 年 12 月 MIT Technology Review 对该技术崛起的记述，DALL-E 2 直接在完全分辨率图像像素上执行其去噪过程，而 Stable Diffusion 则在神经网络内的压缩"潜在"图像表示上工作——该出版社称这种方法让 Stable Diffusion 在普通个人计算机上运行，而不是需要大型服务器基础设施。

由 CompVis 研究小组与 Stability AI 和 Runway 维护的 Stable Diffusion GitHub 资源库指出，该模型的潜在扩散方法建立在该小组早期论文《使用潜在扩散模型的高分辨率图像合成》基础上，该论文在 CVPR 2022 计算机视觉会议上发表，并使用来自 LAION-5B 数据集的图像进行训练。

主要扩散型图像生成器如何比较

MIT Technology Review 报道称，DALL-E 2 在其 2022 年 4 月推出后约两个半月内达到了 100 万用户，而 Stable Diffusion 的 DreamStudio 服务在其 2022 年 8 月发布后在不到一半的时间内突破 100 万用户——该出版社引用这些数字作为证据，说明扩散方法在那一年有多快到达大众受众。

2020–2022 年研究确立的内容

底层机制——在训练期间添加噪声，在生成期间移除噪声，由文本编码器指导——形成了在 2022 年出现的主要图像生成器的基础，如 Ho、Jain 和 Abbeel 的 2020 年论文以及此处审查的 2022 年报告和文档中所述。此后，各个公司在这个相同的扩散框架之上分层了其他组件，如更大的 U-Net、更大的文本编码器或提示重写系统。