Vai al contenuto

M06 · L'LLM nudo e crudo, le caratteristiche intrinseche

Le risposte non vengono validate da niente prima di uscire. Chi le valida? L'utente.

Perché

Le chatbot commerciali aggiungono ricerca web, memoria, strumenti. È utile, ma nasconde il comportamento del modello. Per capire davvero un LLM bisogna vederlo "nudo": un modello piccolo, senza ricerca web, uguale per tutti. Così i limiti diventano visibili.

Obiettivi

Riconoscere, con esperimenti, quattro caratteristiche di ogni LLM:

  1. è un predittore del token successivo (vedi M05);
  2. ha un limite di conoscenza temporale (knowledge cutoff);
  3. allucina: produce risposte scorrette ma verosimili;
  4. ha una finestra di contesto: una memoria di lavoro limitata.

Concetti chiave

Concetto Come lo dico Stabilità
Knowledge cutoff Il modello sa le cose fino a un certo punto, quello in cui si ferma il dataset stabile
Niente autocoscienza Se gli chiedi il suo cutoff, ognuno di voi ottiene una data diversa: la sta generando, non la "sa" stabile
Allucinazione Risposta scorretta ma verosimile. La funzione dell'LLM è produrre testo plausibile, non vero stabile
Nessun validatore Nessuna azienda ha costruito un validatore delle risposte: la responsabilità è di chi le usa evolutivo
Finestra di contesto A ogni invio il modello rilegge tutta la conversazione entro un limite di token. Come la memoria di lavoro quando fai un calcolo con i riporti stabile
Oblio Quando la finestra è piena, i messaggi più vecchi escono e il modello "dimentica" stabile
Dimensione della finestra Oggi molto grande (centinaia di migliaia o milioni di token): nelle chat si nota poco, negli agenti è critica volatile

Come lo conduco

Tutti sulla stessa chat gratuita e senza account, con un modello piccolo e senza ricerca web. Nel 2026 ho usato duck.ai. Strumenti pari per tutti: chi ha l'account pro non deve avere un'esperienza diversa.

  1. Il cutoff (10 min). Domanda di attualità (chi è il Papa, chi ha vinto ieri). Poi: "qual è il tuo knowledge cutoff?". Confrontiamo le risposte in aula.
  2. Le allucinazioni (20 min). Scheda: caccia all'allucinazione.
  3. La finestra di contesto (25 min). Laboratorio con la web app che ho costruito, con finestra regolabile. Scheda: finestra di contesto. Strumento: catalogo strumenti.

Frasi che uso

  • "Usare un LLM solo per chiedergli fatti è come avere una Ferrari per andare a 30 all'ora. Per quello vai in biblioteca."
  • "Studiate di più, non di meno. I dettagli sbagliati nascosti nelle pieghe del testo li vedono gli esperti."
  • "La risposta mediocre che a noi sembra forte, ci sembra forte perché siamo scarsi noi."

Punti critici e da verificare

  • Gli esperimenti invecchiano. L'articolo 189 o i link di YouTube potrebbero non produrre più allucinazioni con i modelli nuovi. Il principio resta, l'esempio va riverificato. → manutenzione
  • duck.ai e i modelli disponibili: volatili.
  • "Allucinazione": il termine stesso è discusso (antropomorfizza). Vale la pena dirlo in aula.

Collegamenti