Jak działa generacyjna sztuczna inteligencja: wyjaśnienie generowania tekstu, obrazów i kodu

Mimo że generatory tekstu, generatory obrazów i asystenci kodowania pracują z bardzo różnymi wynikami, mają wspólne podstawy: sieć neuronowa wytrenowana na dużych ilościach danych uczy się wzorów statystycznych, a następnie wykorzystuje te wzorce do tworzenia nowej zawartości kawałek po kawałku, a nie do pobierania zapisanej odpowiedzi.

Generowanie tekstu: przewidywanie następnego tokena

Duże modele języka, takie jak te będące podstawą chatbotów, najpierw dzielą tekst na małe jednostki zwane tokenami, którymi mogą być całe słowa lub części słów, zgodnie z wyjaśnieniem technicznym modeli transformer IBM opublikowanym 28 marca 2025 roku. Każdy token jest konwertowany na wektor numeryczny, zwany osadzeniem, który reprezentuje jego znaczenie, i dodawany jest drugi wektor do kodowania pozycji tokena w zdaniu.

Głównym mechanizmem jest samo-atencja: dla każdego tokena model oblicza istotność każdego innego tokena na wejściu, używając trzech wyuczonych wektorów na token — zapytania, klucza i wartości, zgodnie z IBM. Pozwala to modelowi ważyć kontekst z dowolnego miejsca w tekście jednocześnie, zamiast czytać słowo po słowie, jak robiły to starsze architektury. Transformery tylko z dekodorem, architektura leżąca u podstaw modeli takich jak GPT, następnie generują tekst autoregresywnie — przewidując jeden token na raz i podając ten token z powrotem do przewidywania następnego, wyjaśnia IBM.

Badania Anthropic, opublikowane na jej stronie jako 'Tracing the thoughts of a large language model', wykazały, że ten proces przewidywania następnego tokena może wiązać się z większym planowaniem niż się wydaje z zewnątrz. W jednym eksperymencie, gdy jej model Claude pisał wers poezji, aktywował wewnętrzne cechy odpowiadające możliwemu słowu rymującemu się, zanim napisał resztę wiersza, a następnie dostosował swoją redakcję, aby osiągnąć to słowo. W innym teście model odpowiedział na pytanie wieloetapowe — takie jak zidentyfikowanie stolicy stanu zawierającego Dallas — najpierw aktywując wewnętrzną reprezentację dla 'Teksasu', a następnie oddzielnie pobierając 'Austin', zamiast przejść bezpośrednio do odpowiedzi, jak raportowała Anthropic.

Anthropic odkryła również lukę między wewnętrznym obliczeniem modelu a jego własnym opisem tego obliczenia: gdy zapytano, jak wykonał obliczenie matematyczne, Claude opisał metodę standardową, ale wewnętrzny proces, który Anthropic śledziła, używał innego, równoległego podejścia, łącząc szacunek przybliżony ze śledzeniem osobno ostatniej cyfry.

Generowanie obrazów: usuwanie szumu krok po kroku

Większość nowoczesnych narzędzi konwersji tekstu na obraz, w tym Imagen Google'a, używa modeli dyfuzji, które działają w kierunku przeciwnym do generowania tekstu. Zgodnie ze stroną badań Imagen Google'a, system zaczyna od zamrożonego dużego modelu języka — T5-XXL — który konwertuje zachętę tekstową na osadzenie, tego samego rodzaju numerycznej reprezentacji używanej w modelach tekstowych. Badacze Google zauważają, że skalowanie wielkości tego kodera tekstowego poprawiło jakość obrazu bardziej niż skalowanie części modelu generującej obraz.

Model dyfuzji bierze następnie to osadzenie tekstowe i generuje mały obraz 64x64 pikseli. Robi to, zaczynając od losowego szumu wizualnego i uruchamiając iteracyjny proces 'usuwania szumu', gdzie model wielokrotnie przewiduje i usuwa trochę szumu, kierowany osadzeniem tekstowym, aż pozostaje spójny obraz o niskiej rozdzielczości, zgodnie z opisem Google'a. Obraz jest następnie powiększany przy użyciu dwóch dodatkowych modeli dyfuzji, najpierw do 256x256 pikseli, a następnie do 1024x1024 pikseli, kaskada, którą Google nazywa dyfuzją o super-rozdzielczości.

Aby umożliwić modelowi bardziej ścisłe śledzenie zachęty tekstowej, strona badań Imagen Google'a wprowadza 'nową próbkarkę dyfuzji z progowaniem', używaną wraz z metodą znaną jako przewodnictwo bez klasyfikatora, które razem umożliwiają użycie znacznie większych wag przewodnictwa. Google raportowała, że w ocenach człowieka ewaluatorzy ocenili wynik Imagen jako porównywalny do rzeczywistych zdjęć referencyjnych pod względem zgodności z zachętą tekstową i woleli go od innych systemów konwersji tekstu na obraz, w tym DALL-E 2, na benchmarku DrawBench stworzonym przez Google'a.

Generowanie kodu: sugestie zbudowane z kontekstu

Asystenci kodowania AI, tacy jak GitHub Copilot, stosują to samo podejście oparte na transformerze, przewidującego następny token, używane do tekstu ogólnego, ale wytrenowanego specjalnie na kodzie programistycznym i dostosowanego do przestrzeni roboczej dewelopera. Zgodnie z własną dokumentacją GitHub, Copilot działa w dwóch głównych trybach: tryb 'pomocniczy', który sugeruje kod, odpowiada na pytania lub wyjaśnia kod podczas pisania przez dewelopera, i tryb 'agentury', w którym deweloper opisuje cel, a Copilot pracuje przez wiele kroków — badając repozytorium, proponując plan, edytując pliki i uruchamiając narzędzia, aby ukończyć zadanie.

Dokumentacja GitHub stwierdza, że możliwości Copilota obejmują również dostosowania, takie jak instrukcje specyficzne dla repozytorium i integracje narzędzi zewnętrznych, oraz że niektóre funkcje działają asynchronicznie, umożliwiając agentowi kodowania wprowadzanie zmian i otwieranie lub aktualizowanie żądań ściągnięcia bez stałego nadzoru. GitHub nie określa publicznie każdego używanego modelu ani pełnych szczegółów technicznych tego, jak kontekst jest wybierany i przekazywany do podstawowego modelu, zgodnie z jego bieżącą dokumentacją.

Jak się porównują

Wszystkie trzy podejścia zależą od danych treningowych: wewnętrzne wzorce modelu pochodzą z tekstu, obrazów lub kodu, na którym był trenowany, a jego wynik to nowo wygenerowana sekwencja lub obraz ukształtowany przez te wyuczone wzorce, a nie kopia dowolnego przykładu treningowego.