Wie generative KI funktioniert: Text-, Bild- und Code-Generierung erklärt

Trotz sehr unterschiedlicher Ausgaben haben Textgeneratoren, Bildgeneratoren und Coding-Assistenten eine gemeinsame Grundlage: Ein neuronales Netzwerk, das auf großen Datenmengen trainiert ist, erlernt statistische Muster und nutzt diese Muster dann, um neue Inhalte Stück für Stück zu erstellen, anstatt eine gespeicherte Antwort abzurufen.

Textgenerierung: Vorhersage des nächsten Tokens

Große Sprachmodelle wie die hinter Chatbots konvertieren zunächst Text in kleine Einheiten namens Token, die ganze Wörter oder Wortteile sein können, laut IBMs technischem Erklärer zu Transformer-Modellen, veröffentlicht am 28. März 2025. Jedes Token wird in einen numerischen Vektor konvertiert, genannt Embedding, das seine Bedeutung darstellt, und ein zweiter Vektor wird hinzugefügt, um die Position des Tokens im Satz zu kodieren.

Der Kernmechanismus ist Self-Attention: Für jedes Token berechnet das Modell, wie relevant jedes andere Token in der Eingabe ist, unter Verwendung von drei gelernten Vektoren pro Token — eine Query, ein Key und ein Value, laut IBM. Dies ermöglicht es dem Modell, Kontext von überall im Text auf einmal zu gewichten, anstatt Wort für Wort wie ältere Architekturen zu lesen. Decoder-Only Transformer, die Architektur hinter Modellen wie GPT, generieren dann Text autoregressiv — prognostizieren ein Token nach dem anderen und speisen dieses Token zurück, um das nächste vorherzusagen, erklärt IBM.

Forschung von Anthropic, auf ihrer Website als 'Tracing the thoughts of a large language model' veröffentlicht, stellte fest, dass dieser Next-Token-Prozess mehr Planung beinhalten kann, als von außen erscheint. In einem Experiment aktivierte sein Claude-Modell, beim Schreiben einer Poesiezeile, interne Merkmale, die einem möglichen Reimwort entsprechen, bevor der Rest der Zeile geschrieben wurde, dann passte es seine Formulierung an, um dieses Wort zu erreichen. In einem anderen Test beantwortete das Modell eine mehrstufige Frage — wie das Identifizieren der Hauptstadt des Staates, der Dallas enthält — indem es zuerst eine interne Darstellung für 'Texas' aktivierte und dann separat 'Austin' abrief, anstatt direkt zur Antwort zu springen, wie Anthropic berichtete.

Anthropic fand auch eine Lücke zwischen der internen Berechnung des Modells und seiner eigenen Beschreibung dieser Berechnung: Auf die Frage, wie es eine mathematische Berechnung durchführte, beschrieb Claude eine Standardmethode, aber der interne Prozess, den Anthropic nachverfolgten, verwendete einen anderen, parallelen Ansatz, der eine grobe Schätzung mit separater Verfolgung der letzten Ziffer kombinierte.

Bildgenerierung: Schrittweise Rauschentfernung

Die meisten modernen Text-zu-Bild-Tools, einschließlich Googles Imagen, verwenden Diffusionsmodelle, die in die entgegengesetzte Richtung wie Textgenerierung funktionieren. Gemäß Googles Imagen-Forschungsseite startet das System mit einem eingefrorenen großen Sprachmodell — T5-XXL — das die Textaufforderung in ein Embedding konvertiert, die gleiche Art von numerischer Darstellung, die in Textmodellen verwendet wird. Googles Forscher bemerken, dass die Skalierung der Größe dieses Text-Encoders die Bildqualität mehr verbesserte als die Skalierung des Bildgenerierungsteils des Modells.

Ein Diffusionsmodell nimmt dann dieses Text-Embedding und generiert ein kleines 64x64-Pixel-Bild. Es tut dies, indem es von zufälligem visuellen Rauschen ausgeht und einen iterativen 'Denoising'-Prozess ausführt, wobei das Modell wiederholt ein bisschen Rauschen vorhersagt und entfernt, geleitet durch das Text-Embedding, bis ein kohärentes Bild mit niedriger Auflösung verbleibt, gemäß Googles Beschreibung. Das Bild wird dann mit zwei weiteren Diffusionsmodellen vergrößert, zunächst auf 256x256 Pixel und dann auf 1024x1024 Pixel, ein Kaskadenprozess, den Google Super-Resolution Diffusion nennt.

Um dem Modell zu ermöglichen, die Textaufforderung enger zu befolgen, führt Googles Forschungsseite an, dass Imagen 'einen neuen Schwellenwert-Diffusions-Sampler' einführt, der zusammen mit einer Methode namens Classifier-Free Guidance verwendet wird, die zusammen die Verwendung viel größerer Guidance-Gewichte ermöglichen. Google berichtete, dass in menschlichen Bewertungen Bewerter die Ausgabe von Imagen als vergleichbar mit echten Referenzfotos für die Übereinstimmung mit der Textaufforderung beurteilten und sie gegenüber anderen Text-zu-Bild-Systemen, einschließlich DALL-E 2, auf einer von Google erstellten Benchmark namens DrawBench, bevorzugten.

Code-Generierung: Vorschläge aus Kontext aufgebaut

KI-Coding-Assistenten wie GitHub Copilot wenden denselben Transformer-basierten, Next-Token-Vorhersage-Ansatz an, der für allgemeinen Text verwendet wird, aber speziell auf Programmiercode trainiert und an den Arbeitsbereich eines Entwicklers angepasst. Laut Githubs eigener Dokumentation arbeitet Copilot in zwei Hauptmodi: Ein 'assistiver' Modus, der Code vorschlägt, Fragen beantwortet oder Code erklärt, während ein Entwickler tippt, und ein 'agentic' Modus, bei dem ein Entwickler ein Ziel beschreibt und Copilot durch mehrere Schritte arbeitet — das Repository recherchiert, einen Plan vorschlägt, Dateien bearbeitet und Tools ausführt, um eine Aufgabe zu vervollständigen.

Githubs Dokumentation besagt, dass Copilots Funktionen auch auf Anpassungen ausgeweitet werden, wie Repository-spezifische Anweisungen und externe Tool-Integrationen, und dass einige Funktionen asynchron funktionieren, was einem Coding-Agent ermöglicht, Änderungen vorzunehmen und Pull-Anfragen zu öffnen oder zu aktualisieren, ohne ständige Überwachung. GitHub gibt nicht öffentlich alle Modelle oder die vollständigen technischen Details an, wie Kontext ausgewählt und an das zugrunde liegende Modell übergeben wird, laut seiner aktuellen Dokumentation.

Wie die drei sich vergleichen

Alle drei Ansätze hängen von Trainingsdaten ab: Die internen Muster des Modells stammen aus dem Text, den Bildern oder dem Code, denen es während des Trainings ausgesetzt war, und seine Ausgabe ist eine neu generierte Sequenz oder ein Bild, das von diesen erlernten Mustern geprägt ist, anstatt eine Kopie eines einzelnen Trainingsbeispiels zu sein.