¿Que son los tokens y la longitud de contexto?

Los modelos de IA no leen palabras como lo hace una persona; procesan la informacion en tokens. Un token puede ser un solo caracter, una parte de una palabra o una palabra completa. En Questsmith, puedes estimar que 1 token equivale a unos 4 caracteres (o aproximadamente 0,75 palabras).

1. Como funcionan los tokens

Puedes imaginar los tokens como piezas de construccion del lenguaje. Cuando envias un mensaje, la IA lo descompone en esas piezas, analiza patrones y predice cual pieza debe ir despues. Por eso, a veces la IA puede tener dificultades con palabras muy complejas o inventadas: intenta encontrar la mejor coincidencia de token.

2. ¿Que es la longitud de contexto?

La longitud de contexto es la memoria a corto plazo de la IA. Representa la cantidad maxima de tokens que el modelo puede ver al mismo tiempo al generar una respuesta. Cuando tu historia supera ese limite, la IA empieza a olvidar las partes mas antiguas de la aventura para dejar espacio a acciones nuevas.

Consejo: Para mantener tu historia coherente incluso al llegar al limite de contexto, usa Story Cards y Memory. Estos detalles fijados siempre se envian a la IA, de modo que recuerde tus objetivos de mision y nombres de personajes aunque el texto real del capitulo 1 ya haya salido de su ventana de contexto.