トークンとコンテキスト長とは何ですか？

AIモデルは、人間のように単語をそのまま読んでいるわけではなく、トークンという単位で情報を処理します。トークンは、1文字だけの場合もあれば、単語の一部や単語全体の場合もあります。Questsmith では、1トークンはおおよそ4文字（または約0.75語）と考えると目安になります。

1. トークンはどう働くか

トークンは、言語を組み立てる「積み木」のようなものです。あなたが入力を送ると、AIはそれをトークンに分解し、並びの規則を分析して、次に来るべきトークンを予測します。そのため、とても複雑な語や造語では、最適なトークンの一致を探す必要があり、AIがときどき不安定に見えることがあります。

2. コンテキスト長とは？

コンテキスト長は、AIの「短期記憶」の大きさです。応答を生成するときに、モデルが同時に「参照できる」トークン数の上限を表します。物語がこの上限を超えると、新しい行動を入れるために、AIは冒険の古い部分から順に「忘れ始める」ようになります。

実践のコツ: コンテキスト上限に達しても物語の整合性を保つには、ストーリーカードとメモリーを活用してください。こうした「固定された」情報は常にAIへ送られるため、第1章の本文がコンテキスト窓の外に出ても、クエスト目標やキャラクター名をAIに覚えさせておけます。