人工智能圖像生成的工作原理：擴散模型解析

從 2022 年開始出現的多款人工智能圖像生成器，包括 OpenAI 的 DALL-E 2、Midjourney 和 Stability AI 的 Stable Diffusion，都是基於一種稱為擴散的技術建立的。與其逐筆繪製圖像不同，這些系統學會反轉一個數學過程，該過程逐漸用噪聲破壞圖像，然後從隨機靜態開始反向運行該過程。

核心理念：學習消除噪聲

圖像生成的擴散模型在 Jonathan Ho、Ajay Jain 和 Pieter Abbeel 的 2020 年論文《去噪擴散概率模型》(Denoising Diffusion Probabilistic Models) 中正式確立，該論文發佈在研究存儲庫 arXiv 上。該方法據稱受到非平衡熱力學的啟發，分兩個階段進行。在「前向」階段（僅在訓練期間使用），將少量隨機（高斯）噪聲分多個步驟添加到真實照片中，直到圖像與靜態無法區分。在「反向」階段，神經網絡被訓練來預測和減去該噪聲，逐步進行，直到原始圖像被恢復。

經過訓練後，網絡不再需要從真實照片開始。它可以從純隨機噪聲畫布開始，並運行它在訓練期間學習的相同去噪步驟，產生一個以前不存在的全新圖像。2020 年的論文報告稱，在名為 CIFAR-10 的數據集上，其模型達到了強勁的圖像質量分數，在更大的 256x256 圖像上，與 ProgressiveGAN（一種基於不同架構的早期生成技術）的樣本質量相匹配。

神經網絡工作的地方：U-Net 和文本引導

執行去噪的網絡通常是 U-Net，一種將圖像縮小以捕捉整體結構，然後將其重新構建為全分辨率的架構類型。在 Stable Diffusion 在 GitHub 上的官方技術文檔中，該模型被描述為使用 8.6 億參數的 U-Net 來運行擴散過程，以及一個單獨的自動編碼器，將圖像壓縮成較小的數學表示，然後將結果解壓縮回完整圖像。

為了遵循書面提示，系統需要一種方式將單詞連接到像素。根據相同的 Stable Diffusion 文檔，該模型使用凍結的 CLIP ViT-L/14 文本編碼器（一個單獨訓練以匹配文本和圖像的組件）將提示轉換為數字表示，指導每個去噪步驟，因此網絡以引導新興圖像朝向單詞描述的方向去除噪聲。

• 訓練：真實圖像在許多步驟上逐漸被隨機噪聲破壞，直到只剩靜態。
• 學習：U-Net 神經網絡被訓練來預測和去除在每一步添加的噪聲。
• 文本條件化：單獨的文本編碼器（如 CLIP）將提示轉換為去噪網絡的數字指南。
• 生成：從隨機噪聲開始，訓練後的網絡在文本的引導下逐步去除噪聲，直到出現圖像。
• 解碼（僅限潛在模型）：壓縮的內部表示被轉換回全分辨率圖像。

像素空間與潛在空間：為什麼 Stable Diffusion 可以在筆記本電腦上運行

並非所有擴散模型在內部工作方式相同。根據 MIT Technology Review 在 2022 年 12 月對該技術興起的報導，DALL-E 2 在全分辨率圖像像素上直接執行噪聲去除過程，而 Stable Diffusion 則在神經網絡內圖像的壓縮「潛在」表示上工作——該媒體表示這種方法讓 Stable Diffusion 可以在普通個人計算機上運行，而不是需要大型服務器基礎設施。

由 CompVis 研究組與 Stability AI 和 Runway 維護的 Stable Diffusion GitHub 存儲庫指出，該模型的潛在擴散方法是基於該組的較早論文《使用潛在擴散模型的高分辨率圖像合成》(High-Resolution Image Synthesis with Latent Diffusion Models)，該論文在 CVPR 2022 計算機視覺會議上發表，並在 LAION-5B 數據集中的圖像上進行了訓練。

主要的基於擴散的圖像生成器如何比較

MIT Technology Review 報導稱，DALL-E 2 在 2022 年 4 月推出後約兩個半月內達到了一百萬用戶，Stable Diffusion 的 DreamStudio 服務在 2022 年 8 月發布後不到一半的時間內超過了一百萬用戶——該媒體引用這些數字作為擴散方法在當年迅速達到大量用戶的證據。

2020-2022 年研究確立的內容

基礎機制——在訓練期間添加噪聲，在生成期間去除噪聲，由文本編碼器引導——構成了 2022 年出現的主要圖像生成器的基礎，如 Ho、Jain 和 Abbeel 的 2020 年論文以及此處審查的 2022 年報告和文檔所述。各家公司此後在同一擴散框架的基礎上分層添加了其他組件，例如更大的 U-Net、更大的文本編碼器或提示重寫系統。