La frase a catena (un LLM in carne e ossa)¶

In una frase: due persone costruiscono una frase una parola alla volta senza sapere cosa dirà l'altra, una terza indovina la parola nascosta. È così che genera un LLM.

Perché la faccio¶

"Predittore del token successivo" è una formula che non dice niente a nessuno. Facciamo fatica a immaginare un sistema che produce una parola alla volta senza sapere come finirà la frase. Il gioco lo fa sentire: è ispirato a un classico dei quiz televisivi, quello in cui si costruisce una frase a turno per far indovinare una parola.

Cosa serve¶

Tre volontari. Un elenco di parole da far indovinare (penna, scrivere, ippodromo…), mostrato solo a due di loro.

Passaggi¶

Due volontari (A e B) vedono la parola segreta. Il terzo (C) no.
A e B costruiscono a turno una frase di senso compiuto, una parola ciascuno, senza dire la parola segreta e senza mettersi d'accordo.
C ascolta e prova a indovinare.
Dopo due o tre parole, ci si ferma e si spiega.

Debriefing¶

A sapeva cosa avrebbe detto B? No. Eppure la frase aveva senso. Così funziona l'LLM: produce un token alla volta, non sa cosa verrà dopo, ma ogni volta rilegge tutto quello che ha già scritto e sceglie il seguito più probabile.
Perché servono due persone e non una? Perché una sola persona sa già cosa vuole dire, e poi costruisce la frase. L'LLM no: è un "cervello diviso".
Allora perché quando chiedi qualcosa la risposta esce piano piano? Non è un effetto grafico per sembrare umano. È il processo di generazione.
Copia-incolla? No: ogni risposta è generata sul momento.

Cosa può andare storto¶

I volontari sono troppo bravi e indovinano subito. Va bene: la spiegazione regge lo stesso. Tenere parole più difficili di riserva.
Qualcuno prende il gioco troppo sul serio. Ricordare che è un'analogia: l'LLM non "pensa" le parole, calcola probabilità sui token.

Varianti¶

Prima del gioco, scrivere alla lavagna "Io…" e chiedere alla classe la parola successiva più probabile ("sono"). Poi: "A mezzogiorno io ho…" ("fame").