Cara Kerja Generasi Gambar AI: Model Difusi Dijelaskan

Beberapa pembuat gambar AI yang muncul sejak 2022 ke depan — termasuk DALL-E 2 dari OpenAI, Midjourney, dan Stable Diffusion dari Stability AI — dibangun di atas teknik yang disebut difusi. Alih-alih menggambar gambar goresan demi goresan, sistem ini belajar membalikkan proses matematika yang secara bertahap menghancurkan gambar dengan kebisingan, kemudian menjalankan proses itu mundur mulai dari statis acak.

Ide inti: belajar membatalkan kebisingan

Model difusi untuk generasi gambar diformalkan dalam makalah 2020, 'Denoising Diffusion Probabilistic Models,' oleh Jonathan Ho, Ajay Jain, dan Pieter Abbeel, diposkan di repositori penelitian arXiv. Metode ini, digambarkan sebagai terinspirasi oleh termodinamika non-keseimbangan, bekerja dalam dua tahap. Dalam tahap 'maju', digunakan hanya selama pelatihan, sejumlah kecil kebisingan acak (Gaussian) ditambahkan ke foto nyata selama banyak langkah hingga gambar tidak dapat dibedakan dari statis. Dalam tahap 'terbalik', jaringan saraf dilatih untuk memprediksi dan mengurangi kebisingan itu, langkah demi langkah, hingga gambar asli dipulihkan.

Setelah dilatih, jaringan tidak lagi membutuhkan foto nyata untuk memulai. Ini dapat dimulai dengan kanvas kebisingan acak murni dan menjalankan langkah denoising yang sama yang dipelajarinya selama pelatihan, menghasilkan gambar baru yang sebelumnya tidak ada. Makalah 2020 melaporkan bahwa pada dataset yang disebut CIFAR-10 modelnya mencapai skor kualitas gambar yang kuat dan, pada gambar 256x256 yang lebih besar, cocok dengan kualitas sampel ProgressiveGAN, teknik generatif sebelumnya berdasarkan arsitektur yang berbeda.

Di mana jaringan saraf melakukan pekerjaan: U-Net dan panduan teks

Jaringan yang melakukan denoising biasanya adalah U-Net, jenis arsitektur yang menyusut gambar untuk menangkap struktur keseluruhan kemudian membangunnya kembali hingga resolusi penuh. Dalam dokumentasi teknis Stable Diffusion sendiri di GitHub, model dijelaskan sebagai menggunakan U-Net berparameter 860 juta untuk menjalankan proses difusi, bersama dengan autoencoder terpisah yang mengompresi gambar ke representasi matematis yang lebih kecil dan mengompresi hasil kembali ke gambar penuh.

Untuk mengikuti prompt tertulis, sistem memerlukan cara menghubungkan kata ke piksel. Menurut dokumentasi Stable Diffusion yang sama, model menggunakan pengkode teks CLIP ViT-L/14 yang beku — komponen yang dilatih secara terpisah untuk mencocokkan teks dan gambar — untuk mengubah prompt menjadi representasi numerik yang memandu setiap langkah denoising, sehingga jaringan menghilangkan kebisingan dengan cara yang mengarahkan gambar yang muncul ke apa yang dijelaskan kata-kata.

• Pelatihan: gambar nyata secara progresif rusak dengan kebisingan acak selama banyak langkah hingga hanya statis yang tersisa.
• Pembelajaran: jaringan saraf U-Net dilatih untuk memprediksi dan menghilangkan kebisingan yang ditambahkan pada setiap langkah.
• Pengondisian teks: pengkode teks terpisah (seperti CLIP) mengubah prompt menjadi panduan numerik untuk jaringan denoising.
• Generasi: mulai dari kebisingan acak, jaringan terlatih menghilangkan kebisingan langkah demi langkah, dipandu oleh teks, hingga gambar muncul.
• Decoding (hanya model laten): representasi internal yang dikompresi dikonversi kembali ke gambar resolusi penuh.

Ruang piksel versus ruang laten: mengapa Stable Diffusion berjalan di laptop

Tidak semua model difusi bekerja dengan cara yang sama secara internal. Menurut akun Ulasan Teknologi MIT Desember 2022 tentang kenaikan teknologi, DALL-E 2 melakukan proses penghilangan kebisingannya langsung pada piksel gambar resolusi penuh, sementara Stable Diffusion malah bekerja pada representasi 'laten' gambar yang dikompresi di dalam jaringan saraf — pendekatan yang outlet katakan memungkinkan Stable Diffusion berjalan pada komputer pribadi biasa daripada memerlukan infrastruktur server besar.

Repositori GitHub untuk Stable Diffusion, dipertahankan oleh grup penelitian CompVis dengan Stability AI dan Runway, menyatakan pendekatan difusi laten model dibangun di atas makalah sebelumnya grup, 'High-Resolution Image Synthesis with Latent Diffusion Models,' dipresentasikan di konferensi vision komputer CVPR 2022, dan dilatih pada gambar dari dataset LAION-5B.

Cara model pembuat gambar berbasis difusi utama dibandingkan

Ulasan Teknologi MIT melaporkan bahwa DALL-E 2 mencapai satu juta pengguna dalam sekitar dua setengah bulan setelah peluncuran April 2022-nya, dan layanan DreamStudio Stable Diffusion melampaui satu juta pengguna dalam waktu kurang dari setengahnya setelah rilis Agustus 2022-nya — angka-angka yang outlet kutip sebagai bukti bagaimana cepat pendekatan difusi mencapai audiens massal tahun itu.

Apa yang penelitian 2020–2022 tetapkan

Mekanisme dasarnya — kebisingan yang ditambahkan selama pelatihan, kebisingan dihilangkan selama generasi, dipandu oleh pengkode teks — membentuk dasar pembuat gambar utama yang muncul pada tahun 2022, seperti yang dijelaskan dalam makalah 2020 oleh Ho, Jain, dan Abbeel dan pelaporan dan dokumentasi 2022 yang ditinjau di sini. Perusahaan individu sejak itu telah berlapis komponen tambahan, seperti U-Net yang lebih besar, pengkode teks yang lebih besar, atau sistem penulisan ulang prompt, di atas kerangka kerja difusi yang sama.