Что такое токены и длина контекста?

Нейросети читают текст не так, как люди: они обрабатывают информацию в виде токенов. Токен может быть отдельным символом, частью слова или целым словом. В Questsmith можно ориентироваться так: 1 токен - это примерно 4 символа (или около 0,75 слова).

1. Как работают токены

Представьте токены как "лего-кирпичики" языка. Когда вы отправляете запрос, нейросеть разбивает текст на такие части, анализирует шаблоны и предсказывает, какой "кирпичик" должен быть следующим. Поэтому иногда ей сложнее с очень необычными или выдуманными словами — она пытается подобрать наиболее подходящую токенизацию.

2. Что такое длина контекста

Длина контекста — это "кратковременная память" модели. Она определяет максимальное число токенов, которые модель может видеть одновременно при генерации ответа. Когда история превышает этот лимит, модель начинает "забывать" самые ранние фрагменты, чтобы освободить место для новых действий.

Совет: Чтобы история оставалась связной даже при достижении лимита контекста, используйте Story Cards и Memory. Эти закрепленные детали отправляются модели и помогают ей помнить цели квеста, имена персонажей и важные факты, даже если ранние главы уже вышли за пределы окна контекста.

Полезный совет: Если вы добавили в Приключение более 5 Карт истории, рекомендуем увеличить длину контекста до более чем 5 000 токенов. Это даст ИИ больше места для обработки Карт истории вместе с текущим Приключением и поможет поддерживать лучшую непрерывность и плавность истории.