Как работает генерация изображений на основе ИИ: объяснение моделей диффузии

Несколько генераторов изображений на основе ИИ, появившихся с 2022 года — включая DALL-E 2 от OpenAI, Midjourney и Stable Diffusion от Stability AI — построены на технике, называемой диффузией. Вместо того чтобы рисовать изображение штрихом за штрихом, эти системы учатся обращать математический процесс, который постепенно разрушает изображение шумом, а затем выполняют этот процесс в обратном направлении, начиная со случайного статического изображения.

Основная идея: обучение удалению шума

Модели диффузии для генерации изображений были формализованы в статье 2020 года «Denoising Diffusion Probabilistic Models» Джонатана Хо, Аджая Джейна и Питера Абиля, опубликованной в репозитории исследований arXiv. Метод, описываемый как вдохновленный неравновесной термодинамикой, работает в два этапа. На этапе «прямого прохода», используемого только во время обучения, к реальной фотографии добавляются небольшие количества случайного (гауссова) шума в течение многих шагов, пока изображение не станет неотличимо от статического. На этапе «обратного прохода» нейронная сеть обучается предсказывать и вычитать этот шум пошагово, пока исходное изображение не восстановится.

После обучения сеть больше не нуждается в реальной фотографии для начала. Она может начать с холста из чистого случайного шума и запустить те же самые операции удаления шума, которые она изучила во время обучения, создавая совершенно новое изображение, которого раньше не существовало. В статье 2020 года сообщалось, что на наборе данных CIFAR-10 их модель достигла высоких оценок качества изображения и на более крупных изображениях 256x256 соответствовала качеству образцов ProgressiveGAN, более ранней техники генерации, основанной на другой архитектуре.

Где работает нейронная сеть: U-Net и текстовое направление

Сеть, которая выполняет удаление шума, обычно представляет собой U-Net, тип архитектуры, который сжимает изображение для захвата общей структуры, а затем перестраивает его обратно в полное разрешение. В собственной технической документации Stable Diffusion на GitHub модель описывается как использующая U-Net с 860 миллионами параметров для выполнения процесса диффузии вместе с отдельным автокодером, который сжимает изображения в меньшее математическое представление и распаковывает результат обратно в полное изображение.

Чтобы следовать письменному запросу, система нуждается в способе связи слов с пикселями. Согласно той же документации Stable Diffusion, модель использует замороженный текстовый кодировщик CLIP ViT-L/14 — компонент, обученный отдельно для сопоставления текста и изображений — чтобы превратить запрос в числовое представление, которое направляет каждый шаг удаления шума, поэтому сеть удаляет шум таким образом, который направляет возникающее изображение к тому, что описывают слова.

• Обучение: реальные изображения постепенно повреждаются случайным шумом в течение многих шагов, пока не останется только статическое изображение.
• Обучение: нейронная сеть U-Net обучается предсказывать и удалять шум, добавленный на каждом этапе.
• Текстовое кондиционирование: отдельный текстовый кодировщик (например, CLIP) превращает запрос в числовой путеводитель для сети удаления шума.
• Генерация: начиная со случайного шума, обученная сеть удаляет шум пошагово, направляемая текстом, пока не появится изображение.
• Декодирование (только для моделей в скрытом пространстве): сжатое внутреннее представление преобразуется обратно в изображение полного разрешения.

Пиксельное пространство в сравнении со скрытым пространством: почему Stable Diffusion работает на ноутбуке

Не все модели диффузии работают одинаково внутри. Согласно статье MIT Technology Review от декабря 2022 года о развитии технологии, DALL-E 2 выполняет свой процесс удаления шума непосредственно на пиксельях полного разрешения, в то время как Stable Diffusion вместо этого работает с сжатым «скрытым» представлением изображения внутри нейронной сети — подход, который, по словам издания, позволил Stable Diffusion работать на обычных персональных компьютерах, а не требовать большой серверной инфраструктуры.

Репозиторий GitHub для Stable Diffusion, поддерживаемый исследовательской группой CompVis со Stability AI и Runway, указывает, что подход скрытой диффузии модели был построен на более ранней статье группы «High-Resolution Image Synthesis with Latent Diffusion Models», представленной на конференции CVPR 2022 по компьютерному зрению, и был обучен на изображениях из набора данных LAION-5B.

Как сравниваются основные генераторы изображений на основе диффузии

MIT Technology Review сообщила, что DALL-E 2 достигла одного миллиона пользователей примерно через два с половиной месяца после запуска в апреле 2022 года, и что сервис DreamStudio компании Stable Diffusion превысил один миллион пользователей за менее чем половину этого времени после выпуска в августе 2022 года — цифры, которые издание привело в качестве свидетельства того, насколько быстро подход диффузии достиг массовой аудитории в этом году.

Что установили исследования 2020–2022 годов

Основной механизм — шум, добавляемый во время обучения, шум, удаляемый во время генерации, направляемый текстовым кодировщиком — сформировал основу основных генераторов изображений, появившихся в 2022 году, как описано в статье 2020 года Хо, Джейна и Абиля и в отчетности 2022 года и рассмотренной здесь документации. С тех пор отдельные компании наслаивали дополнительные компоненты, такие как более крупные U-Net, более крупные текстовые кодировщики или системы переписывания подсказок, поверх той же самой платформы диффузии.