Come funzionano davvero i modelli linguistici (spoiler: è più semplice del previsto)

Cominciamo dal principio: gli LLM (Large Language Models) non sono maghi, sono essenzialmente dei predittori di parole molto, molto bravi. Prendi una frase come «Il cielo è...» e il modello calcola qual è la parola più probabile che viene dopo. Non ragiona, non comprende nel senso che lo facciamo noi — semplicemente, dopo essere stato addestrato su miliardi di testi, sa che dopo «cielo» spesso arriva «blu». È come se avesse letto tutto quello che è stato mai scritto e adesso gioca a indovinare la parola successiva con una precisione infernale.

Tutto questo funziona grazie a un meccanismo chiamato transformer, che è la roba vera dietro questi sistemi. In pratica, il transformer guarda tutte le parole di una frase contemporaneamente (non una per una in sequenza, come ci si aspetterebbe) e capisce come si relazionano tra loro. Se scrivi «La banca mi ha dato un prestito», il modello sa che «banca» in questo contesto significa istituzione finanziaria e non il posto dove ti siedi nel parco. Fa tutto contemporaneamente, in parallelo, il che lo rende molto veloce.

Ora, il trucco più importante: il modello non «sa» niente in realtà. Ha solo imparato pattern statistici da quantità spaventose di dati. Se gli chiedi perché una cosa è vera, non ti dà una risposta ragionata — ti dà la risposta più probabile statisticamente. Per questo a volte confabula, inventa fatti, dice sicuro cose che sono false. Non sta mentendo consapevolmente, sta solo seguendo la probabilità.

Un'altra cosa che sorprende le persone: il modello non «impara» mentre lo usi. Quando scrivi un prompt a ChatGPT, il modello non cambia, non memorizza niente di quello che gli dici. La prossima volta che lo usi, partirà da capo. È come parlare con una persona che ha una memoria perfetta di tutto quello che è successo prima che entrassi nella stanza, ma poi non ricorda niente di te dopo che te ne vai.

L'addestramento avviene prima, ed è costoso (soldi, energia, tempo). Il modello legge miliardi di token (pezzetti di testo), aggiusta i suoi pesi interni (i parametri) per diventare sempre più bravo a predire la parola successiva, e poi lo «congelano». Quello che usi tu è una versione già addestrata, già congelata. Per questo OpenAI, Google e gli altri mantengono così gelosi il processo — una volta addestrato, il modello è il bene più prezioso che hanno.

E il fine-tuning? Quello è il trucco successivo: prendi un modello addestrato e lo alleni ancora un po' su dati specifici per un compito particolare. È come prendere un laureato in Medicina Generale e fargli fare ancora due anni specializzandosi in Cardiologia. Il modello rimane fondamentalmente lo stesso, ma diventa più efficace in un compito specifico.