Come funzionano effettivamente i chatbot AI come ChatGPT e Claude, spiegato

Centinaia di milioni di persone digitano domande in ChatGPT, Claude, Gemini o strumenti simili ogni giorno, ma il software dietro di essi è spesso descritto come una misteriosa "scatola nera". Secondo il corso di Machine Learning di Google e una spiegazione dello scrittore scientifico Timothy B. Lee pubblicata su Understanding AI, il meccanismo centrale è più semplice da descrivere di quanto sembri: un modello linguistico di grandi dimensioni (LLM) è una rete neurale addestrata per prevedere il prossimo piccolo frammento di testo, chiamato token, dato tutto ciò che lo ha preceduto.

Dalle parole ai numeri: token e incorporamenti

Prima che un LLM possa elaborare il testo, lo divide in token — unità che possono essere una parola intera, parte di una parola o un singolo carattere, secondo la documentazione dello sviluppatore di Google. Ogni token viene convertito in un vettore, un lungo elenco di numeri chiamato incorporamento, che ha lo scopo di catturare qualcosa sul significato del token. La spiegazione di Understanding AI lo paragona alle coordinate geografiche: le parole con significati simili finiscono posizionate vicine l'una all'altra in uno spazio numerico vasto, proprio come le città vicine condividono latitudini e longitudini simili.

Attenzione: come il modello tiene traccia del contesto

L'architettura dietro praticamente tutti gli LLM moderni è chiamata Transformer. Il corso di crash di Google spiega che un Transformer si basa su un meccanismo chiamato auto-attenzione, che calcola quanto ogni token in un pezzo di testo dovrebbe influenzare l'interpretazione di ogni altro token. Understanding AI illustra questo con vettori di query e chiave: ogni parola costruisce effettivamente un elenco di controllo del tipo di altre parole che sta cercando, e l'attenzione abbina questi elenchi di controllo nella frase in modo che il modello possa, ad esempio, capire a quale sostantivo si riferisce un pronome come "esso".

Questo passaggio è seguito da livelli feed-forward che elaborano la rappresentazione aggiornata di ogni parola e spingono il modello verso la previsione di quale token dovrebbe venire dopo, come nota Understanding AI. Poiché l'attenzione consente a ogni token di guardare direttamente ogni altro token indipendentemente dalla distanza, i Transformer gestiscono lunghi e complessi passaggi in modo più coerente rispetto ai modelli sequenziali che li hanno preceduti.

Addestramento: miliardi di indovinelli, nessuna etichetta umana richiesta

Gli LLM vengono addestrati principalmente attraverso l'apprendimento non supervisionato sulla previsione di token mascherati o successivi, il che significa che il sistema non riceve "risposte corrette" scritte a mano per la maggior parte del suo addestramento. Invece, la documentazione di Google descrive un processo in cui i token nel testo reale sono nascosti e il modello deve indovinarli; Understanding AI descrive la stessa idea in termini di previsione della parola successiva su enormi raccolte di testo provenienti da libri, siti web e altre fonti. I parametri all'interno della rete — Understanding AI cita i 175 miliardi di GPT-3, addestrati su circa 500 miliardi di parole — iniziano impostati casualmente e vengono gradualmente regolati, indovina dopo indovina, fino a quando le ipotesi del modello si allineano con il testo reale.

Trasformare un modello grezzo in un assistente utile

Un modello addestrato solo a prevedere il token successivo non è automaticamente un chatbot che segue gli ordini educatamente. La spiegazione tecnica di Hugging Face su Reinforcement Learning from Human Feedback (RLHF) descrive i passaggi aggiuntivi che aziende come OpenAI utilizzano per convertire un modello di base in un assistente. In primo luogo, il modello pre-addestrato può essere affinato attraverso l'ottimizzazione supervisionata su conversazioni di esempio. In secondo luogo, i revisori umani classificano più risposte del modello allo stesso prompt, e queste classifiche addestrano un modello di ricompensa separato che impara a valutare gli output come farebbe una persona.

Nella terza fase, il modello originale viene regolato utilizzando l'apprendimento per rinforzo — comunemente Proximal Policy Optimization — in modo che produca risposte che il modello di ricompensa valuta altamente, mentre una penalità matematica lo impedisce dal deviare così lontano dal suo comportamento originale da iniziare a generare assurdità puramente per giocare il punteggio di ricompensa, secondo la descrizione di Hugging Face del metodo.

Perché i chatbot continuano a inventare cose

Un articolo rilasciato dai ricercatori di OpenAI, "Why Language Models Hallucinate" (Perché i modelli linguistici allucinano), disponibile su arXiv, sostiene che le risposte fabbricate non sono semplicemente un bug da correggere. L'articolo attribuisce le allucinazioni a due cause collegate: un sottoprodotto statistico di come i modelli imparano a prevedere continuazioni plausibili durante il pre-addestramento, e il modo in cui i modelli vengono valutati in seguito. La maggior parte dei benchmark e delle classifiche valuta una risposta come corretta o scorretta e tratta un'ammissione di incertezza — un "Non so" — come una risposta scorretta, afferma l'articolo. Questa impostazione premia l'indovino fiducioso rispetto all'onestà sull'incertezza, che spinge i modelli a continuare a produrre affermazioni fluide e specifiche anche quando non hanno una base affidabile per esse.

Cosa sta effettivamente facendo il modello, in una frase

Mettendo insieme, il processo descritto in queste fonti è questo: un chatbot trasforma un prompt in token, li converte in incorporamenti numerici, utilizza livelli di auto-attenzione per pesare come ogni token si relaziona a ogni altro, e predice ripetutamente il token successivo più probabile — un processo modellato, dopo il pre-addestramento, dal feedback umano progettato per rendere queste previsioni simili a risposte utili e che seguono le istruzioni piuttosto che al testo Internet grezzo.