Vedere la finestra di contesto

In una frase: una chat con la memoria di lavoro regolabile e visibile, per vedere il modello che dimentica.

Passaggi

1. Aprire la web app. La finestra di contesto è impostata bassa (200–1000 token) e si vede colorata la parte di conversazione che il modello legge.
2. Scrivere un'informazione: "mi piacciono le ciliegie". Non usare dati personali.
3. Chattare d'altro: una poesia, una barzelletta, una storiella.
4. Chiedere: "qual è il frutto che mi piace?". Se l'informazione è uscita dalla finestra, il modello non lo sa più.
5. Allargare la finestra e rifare la domanda.
6. Variante: con finestra a 200 token, chiedere un racconto di 1000 parole. Al messaggio dopo è come una chat vergine.

Debriefing

• Perché il modello "dimentica"? A ogni invio rilegge solo quello che sta nella finestra.
• Perché non prende un pezzo del messaggio precedente? Ci sono token invisibili che dicono chi ha scritto cosa: tagliare a metà romperebbe la struttura della conversazione.
• Nelle chat commerciali la finestra è enorme e questo problema si vede poco. Negli agenti invece è centrale.

Cosa può andare storto

La demo si appoggia a un modello remoto: se finisce il credito o salta la connessione, non risponde. Ho chiesto feedback in aula per migliorarla: la visualizzazione della finestra non è ancora chiara per tutti.