Как работает генеративный ИИ: объяснение генерации текста, изображений и кода

Несмотря на то что генераторы текста, генераторы изображений и ассистенты кодирования работают с очень разными результатами, они имеют общую основу: нейронная сеть, обученная на больших объемах данных, изучает статистические закономерности, а затем использует эти закономерности для создания нового содержимого по частям, а не для извлечения сохраненного ответа.

Генерация текста: предсказание следующего токена

Большие языковые модели, такие как те, которые используются в чат-ботах, сначала разбивают текст на небольшие единицы, называемые токенами, которые могут быть целыми словами или частями слов, согласно техническому объяснению трансформеров IBM, опубликованному 28 марта 2025 года. Каждый токен преобразуется в численный вектор, называемый встраиванием, который представляет его значение, и добавляется второй вектор для кодирования позиции токена в предложении.

Основной механизм — это само-внимание: для каждого токена модель вычисляет релевантность каждого другого токена на входе, используя три выученных вектора на токен — запрос, ключ и значение, согласно IBM. Это позволяет модели учитывать контекст из любой части текста одновременно, а не читать слово за словом, как это делали старые архитектуры. Трансформеры только с декодером, архитектура, на которой основаны такие модели, как GPT, затем генерируют текст авторегрессивно — предсказывая один токен за раз и подавая этот токен обратно для предсказания следующего, объясняет IBM.

Исследование Anthropic, опубликованное на его сайте как 'Tracing the thoughts of a large language model', показало, что процесс предсказания следующего токена может включать больше планирования, чем кажется со стороны. В одном эксперименте, когда модель Claude писала строку поэзии, она активировала внутренние признаки, соответствующие возможному рифмующемуся слову, прежде чем написать остаток строки, а затем отрегулировала свою формулировку для достижения этого слова. В другом тесте модель ответила на многошаговый вопрос — такой как определение столицы штата, содержащего Даллас — сначала активировав внутреннее представление для 'Техас', а затем отдельно извлекла 'Остин', а не перейдя прямо к ответу, сообщила Anthropic.

Anthropic также обнаружила разрыв между внутренним вычислением модели и её собственным описанием этого вычисления: когда её спросили, как она выполнила математический расчет, Claude описала стандартный метод, но внутренний процесс, который отследила Anthropic, использовал другой параллельный подход, объединяя грубую оценку с отдельным отслеживанием последней цифры.

Генерация изображений: пошаговое удаление шума

Большинство современных инструментов преобразования текста в изображение, включая Imagen от Google, используют модели диффузии, которые работают в противоположном направлении от генерации текста. Согласно странице исследований Imagen от Google, система начинает с замороженной большой языковой модели — T5-XXL — которая преобразует текстовое приглашение в встраивание, тот же вид численного представления, используемый в текстовых моделях. Исследователи Google отмечают, что масштабирование размера этого текстового кодировщика улучшило качество изображения больше, чем масштабирование части модели, генерирующей изображения.

Модель диффузии затем берет это текстовое встраивание и генерирует небольшое изображение размером 64x64 пикселя. Она делает это, начиная со случайного визуального шума и запуская итеративный процесс «удаления шума», где модель многократно предсказывает и удаляет немного шума, управляемая текстовым встраиванием, пока не останется согласованное низкоразрешающее изображение, согласно описанию Google. Затем изображение увеличивается с использованием двух дополнительных моделей диффузии, сначала до 256x256 пикселей, а затем до 1024x1024 пикселей, каскад, который Google называет диффузией супер-разрешения.

Чтобы позволить модели следовать текстовому приглашению более тесно, страница исследований Google по Imagen вводит «новый дискретизатор диффузии с пороговой обработкой», используемый вместе с методом, известным как руководство без классификатора, которые вместе обеспечивают использование гораздо больших весов руководства. Google сообщила, что при оценке человеком оценщики посчитали результат Imagen сравнимым с реальными эталонными фотографиями по соответствию текстовому приглашению и предпочли его другим системам преобразования текста в изображение, включая DALL-E 2, на эталоне DrawBench, созданном Google.

Генерация кода: предложения, построенные из контекста

Ассистенты кодирования ИИ, такие как GitHub Copilot, применяют тот же подход трансформер-на основе предсказания следующего токена, используемый для общего текста, но обученный специально на коде программирования и адаптированный к рабочему пространству разработчика. Согласно собственной документации GitHub, Copilot работает в двух основных режимах: режим «ассистивный», который предлагает код, отвечает на вопросы или объясняет код по мере ввода разработчика, и режим «агентный», где разработчик описывает цель, и Copilot работает через несколько шагов — исследуя хранилище, предлагая план, редактируя файлы и запуская инструменты для выполнения задачи.

Документация GitHub указывает, что возможности Copilot также распространяются на настройки, такие как инструкции, специфичные для хранилища, и интеграции внешних инструментов, и что некоторые функции работают асинхронно, позволяя кодовому агенту вносить изменения и открывать или обновлять запросы на извлечение без постоянного надзора. GitHub не публично указывает каждую используемую модель или все технические детали того, как выбирается контекст и передается в основную модель, согласно её текущей документации.

Как они сравниваются

Все три подхода зависят от данных обучения: внутренние закономерности модели происходят из текста, изображений или кода, которому она подвергалась во время обучения, и её выход — это вновь сгенерированная последовательность или изображение, сформированное этими выученными закономерностями, а не копия какого-либо одного примера обучения.