Cosa sono i token e la lunghezza del contesto?

I modelli di IA non leggono le parole come fanno gli esseri umani; elaborano le informazioni in token. Un token puo essere un singolo carattere, una parte di parola oppure una parola intera. In Questsmith, in generale, puoi stimare che 1 token corrisponde a circa 4 caratteri (oppure circa 0,75 parole).

1. Come funzionano i token

Pensa ai token come ai mattoncini del linguaggio. Quando invii un prompt, l'IA lo scompone in questi mattoncini, analizza i modelli e prevede quale mattoncino debba arrivare dopo. Per questo a volte l'IA puo avere difficolta con parole molto complesse o inventate: sta cercando la migliore corrispondenza di token.

2. Cos'e la lunghezza del contesto?

La lunghezza del contesto e la memoria a breve termine dell'IA. Rappresenta il numero massimo di token che il modello puo vedere nello stesso momento mentre genera una risposta. Quando la tua storia supera questo limite, l'IA inizia a dimenticare le parti piu vecchie dell'avventura per fare spazio alle azioni nuove.

Suggerimento pro: Per mantenere la storia coerente anche quando raggiungi il limite del contesto, usa Story Cards e Memory. Questi dettagli fissati vengono sempre inviati all'IA, cosi continuera a ricordare obiettivi della missione e nomi dei personaggi anche se il testo reale del capitolo 1 e uscito dalla finestra di contesto.

Suggerimento: Se aggiungi più di 5 Story Card alla tua Avventura, ti consigliamo di aumentare la lunghezza del contesto a più di 5.000 token. In questo modo l’IA ha più spazio per elaborare le Story Card insieme all’Avventura in corso, aiutando a mantenere una migliore continuità e fluidità della storia.