Wie Spracherkennung und Voice-to-Text KI tatsächlich funktionieren

Jedes Mal, wenn ein Telefon eine Sprachnachricht transkribiert, ein intelligenter Lautsprecher eine gesprochene Frage beantwortet oder eine Untertitel-App Live-Untertitel anzeigt, läuft dieselbe grundlegende Pipeline im Hintergrund ab: Der Ton wird in ein visuelles Muster umgewandelt und ein neuronales Netzwerk liest dieses Muster, um die Wörter zu erraten. Diese Erklärung schlüsselt auf, wie diese Pipeline funktioniert, welche Systeme weit verbreitet sind und wo die Technologie immer noch Fehler macht.

Von der Schallwelle zum Spektrogramm

Speech-to-Text-Systeme lesen keine Rohaudio direkt. Gemäß OpenAIs technischem Whitepaper für sein Whisper-Modell, das auf arXiv veröffentlicht wurde, wird Audio zunächst in eine Form umgewandelt, die ein neuronales Netzwerk effizient verarbeiten kann, bevor eine Transkription stattfindet. Die Entwicklerdokumentation für Whisper, von OpenAI auf GitHub veröffentlicht, beschreibt das Modell als "ein universelles Spracherkennungsmodell", das mehrsprachige Transkription, Übersetzung ins Englische, Sprachidentifikation und Voice-Activity-Erkennung verarbeitet – alles durch ein Modell statt durch mehrere separate Stufen.

Die häufigste Technik in modernen Systemen ist, das Audio in ein Mel-Spektrogramm umzuwandeln: ein Diagramm, das zeigt, welche Frequenzen in jedem Moment der Aufnahme vorhanden sind, skaliert, um ungefähr zu entsprechen, wie das menschliche Ohr die Tonhöhe wahrnimmt. Diese bildähnliche Darstellung, nicht die rohe Wellenform, ist das, was in das neuronale Netzwerk eingespeist wird.

Zwei verschiedene Ansätze: Cloud-Scale und On-Device

Nicht alle Spracherkenner sind auf die gleiche Weise konstruiert, und die Unterschiede sind wichtig für die Art und Weise, wie und wo sie laufen können.

OpenAIs Whisper, beschrieben im arXiv-Papier "Robust Speech Recognition via Large-Scale Weak Supervision", wurde auf 680.000 Stunden mehrsprachiger und Multitask-Audio trainiert, die aus dem Internet gesammelt wurden, unter Verwendung einer Encoder-Decoder-Transformer-Architektur ähnlich der hinter Text-Generationsmodellen wie GPT. Der Encoder verarbeitet das Spektrogramm; der Decoder sagt dann Text-Token nacheinander voraus. Die Autoren des Papiers berichten, dass die resultierenden Modelle "auf standardmäßige Benchmarks gut generalisieren" in Zero-Shot-Einstellungen, d. h. ohne auf diesen spezifischen Benchmarks fein abgestimmt zu werden, und dass "im Vergleich zu Menschen die Modelle ihrer Genauigkeit und Robustheit nahekommen".

Ein anderes Designziel formte Googles On-Device-Recognizer für seine Gboard-Tastatur, beschrieben in einem Beitrag vom 12. März 2019 im Google Research Blog. Anstatt eines großen Modells, das auf Remote-Servern läuft, baute Google das, was es "All-Neural, On-Device Speech Recognizer" nannte, indem es eine Technik namens RNN Transducer (RNN-T) verwendete. Das System komprimiert auf etwa 80 Megabyte – gegenüber fast 2 Gigabyte für den Suchgraph von Googles traditionellen Produktionsmodellen – durch Anwendung von Parameter-Quantisierung, eine Technik, die der Beitrag sagt, lieferte ungefähr eine vierfache Reduktion gegenüber der trainierten Floating-Point-Version (etwa 450 Megabyte vor Kompression). Weil das ganze Modell auf das Telefon passt, sagte Google, dass es "die gleiche Genauigkeit wie die traditionellen Server-basierten Modelle bietet", während es "sogar funktioniert, wenn Sie offline sind", wodurch die Verzögerung oder Unterbrechungen vermieden werden, die sich aus dem Senden von Audio an einen Remote-Server ergeben.

Warum dies für Barrierefreiheit wichtig ist

Spracherkennung funktioniert nur gut für Sprachmuster, die sie ausreichend im Training gesehen hat. Googles AI-für-Soziales-Gutes-Team startete Project Euphonia in einem Blog-Beitrag vom 7. Mai 2019 und sagte, dass Standardmodelle aus großen Mengen dessen gebaut werden, was der Beitrag "typische" Sprache nennt und daher schlecht für Menschen funktionieren, deren Sprache durch Zustände verändert wird, die der Beitrag als Schlaganfall, ALS, Multiple Sklerose, traumatische Hirnverletzung und Parkinson benennt; Team Gleason, eine ALS-Interessenvereinigung, die mit dem Projekt zusammengearbeitet hat, listet separat Zerebralparese unter den Bedingungen auf, die diese Technologie schwieriger zu verwenden machen. Das Projekt bittet Freiwillige mit untypischer Sprache, Phrasen aufzunehmen, damit Forscher inklusivere Modelle bauen können. Ein Follow-Up-Beitrag von 2022 auf demselben Blog kündigte an, dass die Forschung des Projekts auf vier weitere Sprachen – Französisch, Hindi, Japanisch und Spanisch – neben ihrer ursprünglichen englischsprachigen Arbeit erweitert wird, und sagte, dass die breitere Initiative in Project Relate gewachsen ist, das in einem separaten Blog-Beitrag von Google vom November 2021 als Android-App beschrieben wird, die damals in geschlossener Beta gestartet wurde und dazu entwickelt wurde, die individuellen Sprachmuster eines Benutzers zu lernen und ein personalisiertes Erkennungsmodell zu bauen.

Wo die Technologie immer noch scheitert: "Halluzinationen"

Automatische Transkription ist nicht einfach nur langsam oder gelegentlich falsch – Forscher haben Fälle dokumentiert, in denen Modelle Inhalte erfinden, die nie gesprochen wurden, ein Ausfallmodus, der allgemein als Halluzination bezeichnet wird. Ein Bericht von Fortune, veröffentlicht am 26. Oktober 2024, zitierte Forscher Allison Koenecke der Cornell University und Mona Sloane der University of Virginia, die feststellten, dass von den Halluzinationen, die sie in Whisper-Transkripten identifizierten, fast 40% Inhalte enthielten, die die Forscher als schädlich oder besorgniserregend klassifizierten, einschließlich erfundener gewalttätiger Aussagen und erfundener rassistischer Kommentare, die in der Originalaufnahme nicht vorhanden waren. Der gleiche Bericht sagte, dass die auf Whisper basierende Transkription von einem Unternehmen namens Nabla bereits von mehr als 30.000 Klinikern in 40 Gesundheitssystemen verwendet wird, mit ungefähr 7 Millionen medizinischen Besuchen, die bis dahin transkribiert wurden, obwohl OpenAI vor der Verwendung von Whisper in "hochriskanten Bereichen" gewarnt hatte, wo Transkriptionsfehler Entscheidungen beeinflussen könnten.

Wo Menschen dies täglich begegnen

• Telefontastaturen: On-Device-Diktieren (z. B. Gboards Offline-Recognizer) konvertiert Sprache in getippten Text, ohne Audio an einen Server zu senden.
• Intelligente Lautsprecher und Sprachassistenten: Cloud-basierte oder Hybrid-Modelle interpretieren gesprochene Befehle.
• Barrierefreiheitswerkzeuge: Apps, die auf personalisierten Modellen wie Project Relate aufgebaut sind, helfen bei der Transkription von Sprache für Menschen mit untypischen Sprachmustern.
• Medizinische und professionelle Transkription: Auf Whisper basierende kommerzielle Produkte transkribieren Konsultationen und Besprechungen, ein Anwendungsfall, der nun wegen Halluzinationsraten unter Druck steht.