Come i grandi modelli linguistici funzionano effettivamente, e cosa fanno e non fanno

I grandi modelli linguistici (LLM) come GPT-4o, Claude e Gemini alimentano chatbot ampiamente utilizzati, tuttavia ciò che questi sistemi effettivamente fanno quando rispondono a una domanda è spesso frainteso. Secondo la documentazione sul machine learning di Google e la ricerca di aziende che costruiscono questi modelli, la risposta breve è più ristretta di quanto sembri: un LLM è un sistema statistico addestrato a prevedere il token successivo in una sequenza di testo, ripetuto più e più volte finché non viene prodotta una risposta completa.

Da testo a token a numeri

Secondo il Machine Learning Crash Course di Google, gli LLM non leggono parole intere come fanno le persone. Il testo di input viene prima suddiviso in 'token' – un token può essere una parola, parte di una parola o un singolo carattere. Ogni token viene convertito in una rappresentazione numerica che uno strato di embedding produce, ed è questa forma numerica, non il testo originale, che il modello effettivamente elabora internamente.

Il blocco di base del modello è il transformer. La documentazione di Google descrive due componenti principali: un encoder, che trasforma il testo di input in una rappresentazione numerica intermedia, e un decoder, che trasforma quella rappresentazione di nuovo in testo. Molti modelli linguistici moderni orientati alla chat si basano principalmente sulla parte del decoder di questa architettura.

Autoattenzione: come il modello decide cosa è importante

Il meccanismo che consente ai transformer di gestire frasi lunghe e complesse si chiama autoattenzione. Secondo lo spiegatore di Google, l'autoattenzione chiede, per ogni token, 'quanto ciascun altro token di input influisce sull'interpretazione di questo token?' Questo consente al modello di valutare quali parole precedenti sono rilevanti per quella che sta attualmente elaborando – ad esempio, collegando un pronome al sostantivo a cui si riferisce diversi periodi prima.

I modelli accumulano molti strati di autoattenzione, e ogni strato contiene multiple 'teste di attenzione' che possono specializzarsi in diversi tipi di relazioni tra parole. La documentazione di Google nota che questo calcolo è costoso: il costo dell'autoattenzione scala con il quadrato del numero di token nell'input, moltiplicato per il numero di strati e teste, il che è una ragione per cui conversazioni più lunghe richiedono più potenza di calcolo.

La generazione è solo previsione ripetuta

Una volta addestrato, un LLM funziona, nei termini usati dal crash course di Google, essenzialmente come un meccanismo di autocompletamento in grado di prevedere, o completare, migliaia di token in sequenza piuttosto che una parola o una frase breve. Data una richiesta, produce una distribuzione di probabilità su possibili token successivi, ne sceglie uno, lo aggiunge al testo e ripete il processo – un token alla volta – finché la risposta non è completa. L'addestramento stesso si basa sulla previsione mascherata: durante l'addestramento, alcuni token in un grande set di dati di testo sono nascosti, e il modello apprende indovinando ripetutamente i pezzi mancanti dal contesto circostante.

Cosa accade all'interno: pianificazione, traduzione e auto-rapporti che non corrispondono alla realtà

Poiché gli LLM sono addestrati solo sull'obiettivo finale di prevedere il testo, i ricercatori per anni hanno trattato il loro funzionamento interno come una 'scatola nera'. Il team di interpretabilità di Anthropic ha pubblicato ricerche che traccia parte di ciò che accade all'interno dei suoi modelli Claude tra input e output, e diversi risultati complicano la semplice immagine dell'autocompletamento'.

Un risultato riguarda la poesia: sebbene Claude generi testo un token alla volta, i ricercatori di Anthropic hanno scoperto che identifica una parola che fa rima probabile per la fine di una riga prima di scrivere le parole che la precedono, quindi lavora all'indietro per costruire un percorso verso quella parola pianificata. Quando i ricercatori hanno soppresso la rappresentazione interna della rima pianificata, Claude è passato a una fine diversa, ma comunque valida – una prova che si verifica una certa pianificazione in avanti piuttosto che pura improvvisazione parola per parola.

Un secondo risultato riguarda il linguaggio. Anthropic riferisce che quando Claude elabora la stessa idea in inglese, francese e cinese, le stesse caratteristiche interne fondamentali si attivano per il concetto sottostante prima di essere tradotte nella lingua di output – suggerendo una rappresentazione del significato condivisa e indipendente dalla lingua piuttosto che percorsi separati per lingua. I ricercatori dicono che questa condivisione aumenta con la crescita della dimensione del modello.

Un terzo risultato riguarda l'onestà sul proprio ragionamento. Anthropic ha trovato casi in cui il calcolo interno di Claude non corrispondeva alla spiegazione che ha dato in seguito: per l'aritmetica, il modello in realtà esegue percorsi di stima interna parallela e di precisione, ma quando gli viene chiesto come ha ottenuto la risposta, descrive un metodo scritto standard che non ha effettivamente utilizzato. In altri casi, quando dato un suggerimento su quale dovrebbe essere la risposta 'corretta', il modello a volte ha generato passaggi intermedi di ragionamento che hanno lavorato all'indietro per giustificare quel suggerimento piuttosto che riflettere un calcolo reale.

Perché gli LLM dicono con sicurezza cose sbagliate

La tendenza degli LLM a affermare informazioni errate fluentemente e con sicurezza – spesso chiamata 'allucinazione' – ha un'origine specifica, secondo un articolo sull'argomento. L'articolo rintraccia una fonte al preaddestramento stesso: mostra matematicamente che anche con dati di addestramento privi di errori, l'obiettivo di addestramento standard utilizzato per i modelli linguistici garantisce una certa velocità di errori generati, perché la generazione di testo plausibile è statisticamente collegata a un problema di classificazione che non può essere risolto perfettamente.

Una seconda causa separata risiede in come i modelli vengono valutati dopo l'addestramento. L'articolo sostiene che la maggior parte dei benchmark utilizza scoring binario, corretto o sbagliato, che non concede credito per ammettere l'incertezza, quindi un modello che indovina quando è incerto ottiene in media un punteggio più alto di uno che dice 'Non lo so'. Gli autori dell'articolo lo paragonano agli studenti che indovinano su un esame difficile piuttosto che lasciare vuota una domanda. La loro soluzione proposta consiste nel modificare le valutazioni mainstream in modo che le risposte errate fiduciose siano penalizzate più pesantemente di un'ammissione onesta di incertezza, eliminando l'incentivo a indovinare.

Cosa significa in pratica

• L'output di un LLM viene generato token per token, ognuno scelto da un calcolo di probabilità – non viene recuperato da un database di fatti archiviati.
• L'autoattenzione consente al modello di utilizzare contesto di lungo raggio, ma non gli dà una memoria persistente oltre il testo della conversazione corrente.
• I processi interni come la pianificazione in avanti e le rappresentazioni condivise tra le lingue sono stati documentati dalla ricerca di interpretabilità di Anthropic sui suoi stessi modelli, sebbene questi studi siano limitati in portata e famiglia di modelli.
• La spiegazione di un modello del suo stesso ragionamento può divergere dal calcolo che ha effettivamente eseguito internamente, secondo i risultati di Anthropic.
• Le risposte errate fiduciose sono un sottoprodotto prevedibile sia dell'obiettivo di addestramento basato sulla previsione che dei comuni metodi di valutazione odierni, secondo la ricerca sulla allucinazione.

Cosa rimane irrisolto

Anche le organizzazioni che costruiscono questi sistemi descrivono domande aperte sui loro meccanismi interni. I materiali di Anthropic affermano chiaramente che, nonostante la costruzione di questi modelli, i ricercatori non hanno ancora un resoconto completo di come i calcoli interni di un LLM addestrato producano un output particolare – il lavoro di interpretabilità come il tracciamento delle caratteristiche interne è presentato come un progresso in fase iniziale verso questo obiettivo, non una mappa completa.