كيف يعمل توليد الصور بالذكاء الاصطناعي: شرح نماذج الانتشار

عدة مولدات صور بالذكاء الاصطناعي ظهرت من عام 2022 فما بعده — بما فيها DALL-E 2 من OpenAI و Midjourney و Stable Diffusion من Stability AI — مبنية على تقنية تسمى الانتشار. بدلاً من رسم الصورة ضربة تلو الأخرى، تتعلم هذه الأنظمة عكس عملية رياضية تدمر الصورة تدريجياً بالضوضاء، ثم تشغيل هذه العملية بالعكس بدءاً من ضوضاء عشوائية.

الفكرة الأساسية: تعلم إزالة الضوضاء

تم توضيح نماذج الانتشار لتوليد الصور رسمياً في ورقة عام 2020، 'Denoising Diffusion Probabilistic Models'، لكل من Jonathan Ho و Ajay Jain و Pieter Abbeel، المنشورة في مستودع البحوث arXiv. الطريقة، الموصوفة بأنها مستوحاة من الديناميكا الحرارية غير المتوازنة، تعمل على مرحلتين. في المرحلة 'الأمامية'، المستخدمة فقط أثناء التدريب، تُضاف كميات صغيرة من الضوضاء العشوائية (الغاوسية) إلى صورة حقيقية على عدة خطوات حتى تصبح الصورة غير قابلة للتمييز عن ضوضاء الراديو. في المرحلة 'العكسية'، يتم تدريب شبكة عصبية للتنبؤ بتلك الضوضاء وطرحها، خطوة بخطوة، حتى يتم استرجاع الصورة الأصلية.

بمجرد التدريب، لا تحتاج الشبكة إلى صورة حقيقية للبدء منها. يمكنها أن تبدأ بلوحة قماش من الضوضاء العشوائية الخالصة وتشغيل نفس خطوات إزالة الضوضاء التي تعلمتها أثناء التدريب، لإنتاج صورة جديدة تماماً لم تكن موجودة من قبل. أبلغت ورقة عام 2020 أنه على مجموعة بيانات تسمى CIFAR-10 وصل نموذجها إلى درجات جودة صورة قوية وعلى صور أكبر بحجم 256x256، تطابقت جودة العينة مع ProgressiveGAN، وهي تقنية توليدية سابقة بناءً على بنية مختلفة.

حيث تقوم الشبكة العصبية بالعمل: U-Net وتوجيه النص

الشبكة التي تقوم بإزالة الضوضاء هي عادةً U-Net، وهي نوع من البنية الهندسية التي تصغر الصورة لالتقاط البنية الكلية ثم تعيد بناؤها إلى دقة كاملة. في التوثيق التقني الخاص بـ Stable Diffusion على GitHub، يوصف النموذج بأنه يستخدم U-Net بـ 860 مليون معامل لتشغيل عملية الانتشار، جنباً إلى جنب مع مشفر تلقائي منفصل يضغط الصور إلى تمثيل رياضي أصغر ويفك ضغط النتيجة مرة أخرى إلى صورة كاملة.

لمتابعة طلب مكتوب، يحتاج النظام إلى طريقة لربط الكلمات بالبكسل. وفقاً للتوثيق ذاته لـ Stable Diffusion، يستخدم النموذج مشفر نص CLIP ViT-L/14 المجمد — مكون مدرب بشكل منفصل لمطابقة النص والصور — لتحويل طلب إلى تمثيل رقمي يوجه كل خطوة إزالة ضوضاء، بحيث تزيل الشبكة الضوضاء بطريقة توجه الصورة الناشئة نحو ما تصفه الكلمات.

• التدريب: يتم إفساد الصور الحقيقية تدريجياً بالضوضاء العشوائية على عدة خطوات حتى تبقى الضوضاء الثابتة فقط.
• التعلم: يتم تدريب شبكة عصبية U-Net للتنبؤ بإزالة الضوضاء المضافة في كل خطوة.
• تكييف النص: يحول مشفر نص منفصل (مثل CLIP) طلباً إلى دليل رقمي لشبكة إزالة الضوضاء.
• التوليد: بدءاً من الضوضاء العشوائية، تزيل الشبكة المدربة الضوضاء خطوة بخطوة، موجهة بالنص، حتى تظهر صورة.
• فك التشفير (نماذج الكمون فقط): يتم تحويل التمثيل الداخلي المضغوط إلى صورة بدقة كاملة.

مساحة البكسل مقابل مساحة الكمون: لماذا يعمل Stable Diffusion على جهاز كمبيوتر محمول

لا تعمل جميع نماذج الانتشار بنفس الطريقة داخلياً. وفقاً لحساب مراجعة تكنولوجيا MIT في ديسمبر 2022 عن صعود التكنولوجيا، يقوم DALL-E 2 بعملية إزالة الضوضاء مباشرة على بكسل الصور بدقة كاملة، بينما يعمل Stable Diffusion بدلاً من ذلك على تمثيل 'كامن' مضغوط من الصورة داخل الشبكة العصبية — وهو نهج تقول المنفذ إنه سمح لـ Stable Diffusion بالعمل على أجهزة الكمبيوتر الشخصية العادية بدلاً من الحاجة إلى بنية خادم كبيرة.

يشير مستودع GitHub لـ Stable Diffusion، الذي يحتفظ به مجموعة CompVis البحثية مع Stability AI و Runway، إلى أن نهج الانتشار الكامن للنموذج تم بناؤه على ورقة المجموعة السابقة، 'High-Resolution Image Synthesis with Latent Diffusion Models'، التي قدمت في مؤتمر CVPR 2022 لرؤية الكمبيوتر، وتم تدريبها على صور من مجموعة بيانات LAION-5B.

كيف تقارن مولدات الصور الرئيسية المستندة إلى الانتشار

أبلغت مراجعة تكنولوجيا MIT أن DALL-E 2 وصلت إلى مليون مستخدم في حوالي شهرين ونصف من إطلاق أبريل 2022، وأن خدمة DreamStudio الخاصة بـ Stable Diffusion تجاوزت مليون مستخدم في أقل من نصف هذا الوقت بعد إصدارها في أغسطس 2022 — أرقام استشهدت بها المنفذ كدليل على السرعة التي وصل بها نهج الانتشار إلى جمهور جماهيري في ذلك العام.

ما أسسته الأبحاث 2020-2022

الآلية الأساسية — الضوضاء المضافة أثناء التدريب، الضوضاء المزالة أثناء التوليد، الموجهة بمشفر نصي — شكلت أساس مولدات الصور الرئيسية التي ظهرت في عام 2022، كما هو موضح في ورقة عام 2020 من قبل Ho و Jain و Abbeel والتقارير والتوثيق 2022 المراجعة هنا. قامت الشركات الفردية منذ ذلك الحين بتطبيق مكونات إضافية، مثل وحدات U-Net أكبر أو مشفرات نصية أكبر أو أنظمة إعادة كتابة الطلبات، فوق هذا الإطار الانتشاري نفسه.