Cosa sono i token e la lunghezza del contesto?

I modelli di IA non leggono le parole come fanno gli esseri umani; elaborano le informazioni in token. Un token puo essere un singolo carattere, una parte di parola oppure una parola intera. In Questsmith, in generale, puoi stimare che 1 token corrisponde a circa 4 caratteri (oppure circa 0,75 parole).

1. Come funzionano i token

Pensa ai token come ai mattoncini del linguaggio. Quando invii un prompt, l'IA lo scompone in questi mattoncini, analizza i modelli e prevede quale mattoncino debba arrivare dopo. Per questo a volte l'IA puo avere difficolta con parole molto complesse o inventate: sta cercando la migliore corrispondenza di token.

2. Cos'e la lunghezza del contesto?

La lunghezza del contesto e la memoria a breve termine dell'IA. Rappresenta il numero massimo di token che il modello puo vedere nello stesso momento mentre genera una risposta. Quando la tua storia supera questo limite, l'IA inizia a dimenticare le parti piu vecchie dell'avventura per fare spazio alle azioni nuove.

Suggerimento pro: Per mantenere la storia coerente anche quando raggiungi il limite del contesto, usa Story Cards e Memory. Questi dettagli fissati vengono sempre inviati all'IA, cosi continuera a ricordare obiettivi della missione e nomi dei personaggi anche se il testo reale del capitolo 1 e uscito dalla finestra di contesto.