Que sont les tokens et la longueur de contexte ?

Les modeles d'IA ne lisent pas les mots comme les humains ; ils traitent les informations en tokens. Un token peut etre un caractere unique, une partie de mot, ou un mot entier. Dans Questsmith, on peut estimer que 1 token correspond a environ 4 caracteres (soit environ 0,75 mot).

1. Comment fonctionnent les tokens

Imaginez les tokens comme des briques de langage. Quand vous envoyez un prompt, l'IA le decoupe en ces briques, analyse les motifs, puis predit quelle brique doit venir ensuite. C'est pour cela que l'IA peut parfois hesiter avec des mots tres complexes ou inventes : elle cherche la meilleure correspondance de token.

2. Qu'est-ce que la longueur de contexte ?

La longueur de contexte est la memoire a court terme de l'IA. Elle represente le nombre maximal de tokens que le modele peut voir en meme temps lorsqu'il genere une reponse. Une fois cette limite depassee dans votre histoire, l'IA commence a oublier les parties les plus anciennes de l'aventure pour faire de la place aux nouvelles actions.

Conseil pro : Pour garder une histoire coherente meme quand vous atteignez la limite de contexte, utilisez Story Cards et Memory. Ces details epingles sont toujours envoyes a l'IA, ce qui lui permet de retenir vos objectifs de quete et les noms des personnages, meme si le texte reel du chapitre 1 est sorti de sa fenetre de contexte.