איך עובד יצירת תמונות בבינה מלאכותית: הסבר על מודלי דיפוזיה

כמה מחוללי תמונות בינה מלאכותית שהופיעו משנת 2022 ואילך — כולל DALL-E 2 של OpenAI, Midjourney ו-Stable Diffusion של Stability AI — בנויים על טכניקה הנקראת דיפוזיה. במקום לצייר תמונה מכת לכת, המערכות הללו לומדות להפוך תהליך מתמטי שהורס בהדרגה תמונה עם רעש, ואז מפעילות את התהליך הזה לאחור החל מרעש אקראי.

הרעיון הבסיסי: למידה לביטול רעש

מודלי דיפוזיה ליצירת תמונות סדורו באופן רשמי בעיתון משנת 2020, 'Denoising Diffusion Probabilistic Models', מאת Jonathan Ho, Ajay Jain ו-Pieter Abbeel, שפורסם במאגר המחקר arXiv. השיטה, המתוארת כהשראה מתרמודינמיקה שאינה בשיווי משקל, עובדת בשני שלבים. בשלב ה"קדימה", המשמש רק במהלך ההדרכה, כמויות קטנות של רעש אקראי (גאוסי) מתווספות לתמונה אמיתית על פני שלבים רבים עד שהתמונה הופכת להבדלת מרעש סטטי. בשלב ה"הפוך", רשת עצבית מדורנת לחזות ולהחסיר את הרעש הזה, שלב אחר שלב, עד שהתמונה המקורית מוחזרת.

לאחר הדרכה, הרשת כבר לא צריכה תמונה אמיתית להתחיל ממנה. זה יכול להתחיל עם קנבס של רעש אקראי טהור ולהפעיל את אותם שלבי ביטול רעש שלמדה במהלך ההדרכה, וליצור תמונה חדשה לגמרי שלא הייתה קיימת בעבר. העיתון משנת 2020 דיווח כי בערכת נתונים הנקראת CIFAR-10 המודל שלהם הגיע לציוני איכות תמונה חזקים ובתמונות גדולות יותר של 256x256, תאמו את איכות המדגם של ProgressiveGAN, טכניקה גנרטיבית קודמת המבוססת על ארכיטקטורה שונה.

היכן הרשת העצבית עושה את העבודה: U-Net והנחיות טקסט

הרשת המבצעת את ביטול הרעש היא בדרך כלל U-Net, סוג של ארכיטקטורה המכווצת תמונה כדי ללכוד את המבנה הכללי ולאחר מכן בונה אותה חזרה לרזולוציה מלאה. בתיעוד הטכני של Stable Diffusion ב-GitHub, המודל מתואר כשימוש ב-U-Net עם 860 מיליון פרמטרים להפעלת תהליך הדיפוזיה, יחד עם מחוללת קוד אוטומטית נפרדת הדוחסת תמונות לייצוג מתמטי קטן יותר ופורקת את התוצאה חזרה לתמונה מלאה.

כדי לעקוב אחר הנחיה בעלת טקסט, המערכת זקוקה לדרך לחבר מילים לפיקסלים. לפי אותו תיעוד של Stable Diffusion, המודל משתמש בקודן טקסט CLIP ViT-L/14 מקובע — רכיב מודורן בנפרד כדי להתאים טקסט תמונות — להפוך הנחיה לייצוג מספרי שמדריך כל שלב ביטול רעש, כך שהרשת מסירה רעש בדרך שמנחה את התמונה המתהווה לכיוון מה שהמילים מתארות.

• הדרכה: תמונות אמיתיות מושחתות בהדרגה עם רעש אקראי על פני שלבים רבים עד שנשאר רק סטטי.
• למידה: רשת עצבית U-Net מודורנת לחזות ולהסיר רעש שנוסף בכל שלב.
• התניה בטקסט: קודן טקסט נפרד (כמו CLIP) ממיר הנחיה לייצוג מספרי המנחה את רשת ביטול הרעש.
• דור: החל מרעש אקראי, הרשת המודורנת מסירה רעש שלב אחר שלב, מודרכת בטקסט, עד שתמונה מופיעה.
• פענוח (רק מודלים כמוסים): ייצוג פנימי דחוס מומיר לתמונה ברזולוציה מלאה.

מרחב פיקסל מול מרחב כמוס: מדוע Stable Diffusion פועל על נייד

לא כל מודלי הדיפוזיה עובדים באותו אופן פנימי. על פי חשבון של מגזין Technology Review של MIT מדצמבר 2022 על עלייתה של הטכנולוגיה, DALL-E 2 מבצע את תהליך הסרת הרעש ישירות על פיקסלי תמונה ברזולוציה מלאה, בעוד Stable Diffusion עובד במקום זאת על ייצוג 'כמוס' דחוס של התמונה בתוך הרשת העצבית — גישה שהמגזין אומר שאפשרה ל-Stable Diffusion לפעול על מחשבי אישיים רגילים במקום דרישה לתשתית שרת גדולה.

מאגר GitHub עבור Stable Diffusion, המתוחזק על ידי קבוצת המחקר CompVis עם Stability AI ו-Runway, מציין שגישת הדיפוזיה הכמוסה של המודל נבנתה על עיתון קודם של הקבוצה, 'High-Resolution Image Synthesis with Latent Diffusion Models', שהוצגה בכנס CVPR 2022 לראייה ממוחשבת, והודרכה על תמונות מערכת הנתונים LAION-5B.

איך מחוללי תמונות מבוססי דיפוזיה עיקריים משווים

מגזין Technology Review של MIT דיווח כי DALL-E 2 הגיע למיליון משתמשים תוך כחודשיים וחצי מהשקתה באפריל 2022, וכי שירות DreamStudio של Stable Diffusion חצה מיליון משתמשים בפחות מחצי הזמן לאחר הוצאתו באוגוסט 2022 — נתונים שהמגזין ציטט כעדות למהירות בה הגישה ההתפשטות הגיעה לקהל המוני בשנה זו.

מה מחקרי 2020-2022 הקימו

המנגנון הבסיסי — רעש שנוסף במהלך ההדרכה, רעש שהוסר במהלך הדור, מודרך על ידי קודן טקסט — היווה את הבסיס של מחוללי התמונות העיקריים שהופיעו ב-2022, כמתואר בעיתון 2020 על ידי Ho, Jain ו-Abbeel והדיווחים והתיעוד 2022 שנבדקו כאן. חברות בודדות מאז הוסיפו רכיבים נוספים, כמו U-Nets גדולים יותר, קודנים טקסט גדולים יותר או מערכות כתיבה חוזרת של הנחיות, על גבי אותו מסגרת דיפוזיה.