Jak naprawdę działają systemy rozpoznawania mowy i głosowej zamiany tekstu AI

Za każdym razem, gdy telefon transkrybuje wiadomość głosową, inteligentny głośnik odpowiada na pytanie wypowiadane lub aplikacja napisów wyświetla napisy na żywo, w tle działa ten sam podstawowy potok: dźwięk jest konwertowany na wzorzec wizualny, a sieć neuronowa odczytuje ten wzorzec, aby odgadnąć słowa. To wyjaśnienie rozkłada, jak ten potok działa, które systemy są w powszechnym użyciu i gdzie technologia nadal popełnia błędy.

Od fali dźwiękowej do spektrogramu

Systemy zamiany mowy na tekst nie czytają surowego audio bezpośrednio. Zgodnie z dokumentem technicznym OpenAI dla jego modelu Whisper, opublikowanym na arXiv, audio jest najpierw konwertowane do formy, którą sieć neuronowa może efektywnie przetwarzać, zanim dojdzie do jakiejkolwiek transkrypcji. Dokumentacja dla programistów dla Whisper, opublikowana na GitHub przez OpenAI, opisuje model jako "model rozpoznawania mowy ogólnego przeznaczenia", który obsługuje wielojęzyczną transkrypcję, tłumaczenie na angielski, identyfikację mówionego języka i wykrywanie aktywności głosu — wszystko za pośrednictwem jednego modelu, a nie kilku oddzielnych etapów.

Typowa technika we współczesnych systemach to zamienianie audio na mel spektrogram: wykres pokazujący, które częstotliwości są obecne w każdej chwili nagrania, skalowany tak, aby mniej więcej odpowiadać percepcji wysokości dźwięku przez ludzkie ucho. To podobne do obrazu przedstawienie, a nie surowa forma fali, jest tym, co zostaje wprowadzone do sieci neuronowej.

Dwa różne podejścia: skala chmury i na urządzeniu

Nie wszystkie rozpoznawacze mowy są zbudowane w ten sam sposób, a różnice mają znaczenie dla tego, jak i gdzie mogą działać.

Whisper OpenAI, opisany w dokumencie arXiv "Robust Speech Recognition via Large-Scale Weak Supervision", został wytrenowany na 680 000 godzin wielojęzycznego i wielozadaniowego audio zebranego z internetu, wykorzystując architekturę transformatora koder-dekoder podobną do tej, która znajduje się za modelami generowania tekstu, takimi jak GPT. Koder przetwarza spektrogram; dekoder następnie przewiduje tokeny tekstu jeden na raz. Autorzy dokumentu donoszą, że wynikowe modele "dobrze uogólniają się na standardowe benchmarki" w ustawieniach zero-shot, co oznacza bez dokładnego dostrojenia na tych konkretnych benchmarkach, i że "w porównaniu z ludźmi modele zbliżają się do ich dokładności i niezawodności".

Inny cel projektowy ukształtował rozpoznawacz mowy na urządzeniu Google dla klawiatury Gboard, opisany w poście z 12 marca 2019 r. na blogu Google Research. Zamiast dużego modelu działającego na zdalnych serwerach, Google zbudował to, co nazwa "całkowicie neuronowy rozpoznawacz mowy na urządzeniu", używając techniki zwanej transducent RNN (RNN-T). System kompresuje się do około 80 megabajtów — w porównaniu z prawie 2 gigabajtami grafu wyszukiwania używanego przez tradycyjne modele produkcji Google — poprzez zastosowanie kwantyzacji parametrów, techniki, którą post mówi, dostarczała około czterokrotnego zmniejszenia w porównaniu z wytrenowaną wersją zmiennoprzecinkową (około 450 megabajtów przed kompresją). Ponieważ cały model mieści się na telefonie, Google twierdzi, że "oferuje taką samą dokładność jak tradycyjne modele oparte na serwerze", jednocześnie działając "nawet gdy jesteś w trybie offline", unikając opóźnień lub przerw, które wynikają z wysłania audio na serwer zdalny.

Dlaczego to jest ważne dla dostępności

Rozpoznawanie mowy działa dobrze tylko w przypadku wzorców mowy, które widział wystarczająco w trakcie trenowania. Zespół AI-for-social-good Google uruchomił Project Euphonia w poście z 7 maja 2019 r. na blogu, mówiąc, że standardowe modele są zbudowane z dużych ilości tego, co post nazywa "typową" mową, a zatem działają słabo dla osób, których mowa jest zmieniana przez warunki, które post wymienia jako udar, ALS, stwardnienie rozsiane, urazy mózgu i chorobę Parkinsona; Team Gleason, grupa zajmująca się rzecznictwem ALS, która pracowała nad projektem, oddzielnie wymienia porażenie mózgowe wśród warunków, które mogą utrudnić użytkowanie tej technologii. Projekt prosi wolontariuszy z nietypową mową o nagranie fraz, aby badacze mogli zbudować bardziej inkluzywne modele. W poście z tej samej bloga z 2022 roku ogłoszono, że badania projektu rozszerzały się na cztery kolejne języki — francuski, hindi, japoński i hiszpański — oprócz jego oryginalnej pracy w języku angielskim, i stwierdzono, że szersze wysiłki rozrosły się w Project Relate, opisany w oddzielnym poście z bloga Google z listopada 2021 r. jako aplikacja Android, uruchomiona w tym czasie w zamkniętej wersji beta, zaprojektowana do poznawania indywidualnych wzorców mowy użytkownika i zbudowania spersonalizowanego modelu rozpoznawania.

Gdzie technologia wciąż zawodzi: "halucynacje"

Automatyczna transkrypcja nie jest po prostu wolna lub czasami błędna — badacze udokumentowali przypadki, w których modele wymyślają zawartość, która nigdy nie została wypowiedziana, tryb awarii, powszechnie zwany halucynacją. Raportaż Fortune, opublikowany 26 października 2024 r., powołał się na badaczy Allison Koenecke z Uniwersytetu Cornell i Mona Sloane z Uniwersytetu Virginii, którzy odkryli, że spośród halucynacji, które zidentyfikowali w transkrypcjach Whisper, prawie 40% zawierało zawartość, którą badacze zaklasyfikowali jako szkodliwą lub niepokojącą, w tym wymyślone gwałtowne stwierdzenia i wymyślony komentarz rasowy, który nie był obecny w oryginalnym audio. Ten sam raport powiedział, że transkrypcja oparta na Whisper firmy Nabla była już używana przez ponad 30 000 klinicystów w 40 systemach opieki zdrowotnej, przy czym około 7 milionów wizyt medycznych było transkrybowanych w tym momencie, chociaż OpenAI ostrzegała przed używaniem Whisper w "domenach wysokiego ryzyka", w których błędy transkrypcji mogłyby wpłynąć na decyzje.

Gdzie ludzie spotykają to codziennie

• Klawiatury telefonu: dyktowanie na urządzeniu (np. tryb offline rozpoznawacza Gboard) konwertuje mowę na pisany tekst bez wysyłania audio na serwer.
• Inteligentne głośniki i asystenci głosowi: modele oparte na chmurze lub hybrydowe interpretują wypowiadane polecenia.
• Narzędzia dostępności: aplikacje zbudowane na modelach spersonalizowanych, takie jak Project Relate, pomagają transkrybować mowę dla osób z nietypową mową.
• Transkrypcja medyczna i zawodowa: komercyjne produkty oparte na Whisper transkrybują konsultacje i spotkania, przypadek użycia, który teraz spotyka się z krytyką ze względu na wskaźniki halucynacji.