¿Qué va en el contexto que se envía a la IA?
Sobre la IA
El contexto es la información que se envía a los modelos de lenguaje de IA y que se tiene en cuenta al generar tu siguiente acción en Questsmith.
El contexto en Questsmith se compone de muchos elementos, y este artículo explica cómo se combinan esos elementos en cada llamada a la IA.
Si no tienes contexto suficiente en tu aventura para incluir todos tus Plot Essentials, Story Cards y otros datos de entrada, algunas partes se recortan o eliminan automáticamente.
El contexto tiene dos secciones
Cuando el contexto se desborda, Questsmith utiliza dos secciones: Required y Dynamic.
Los elementos Required incluyen Instructions, Plot Essentials, Story Summary, Author's Note, Front Memory for Scripts y la Last Action realizada, o la última salida de la IA si la última acción fue una Continue action. En general, intentamos incluir la longitud completa de todos los elementos Required cuando están presentes.
Si el total de los elementos Required supera el 70 por ciento del tamaño del contexto, incluimos primero las secciones más importantes y recortamos o excluimos el resto para ajustarnos al límite del 70 por ciento de tokens. Front Memory y Last Action siempre se incluyen completas. Hasta llenar el límite, incluimos, en orden de prioridad, Author's Note, Plot Essentials, AI Instructions y Story Summary. Si una sección no cabe en los tokens restantes, recortamos el final para que encaje. Los elementos de menor prioridad no se incluyen.
Los elementos Dynamic incluyen Story Cards, Memory Bank y Story History, es decir, tus acciones pasadas. Estos elementos usan reglas más flexibles.
Los elementos Dynamic rellenan los tokens restantes después de los elementos Required. Aproximadamente el 25 por ciento de esos tokens restantes va a Story Cards coincidentes, aproximadamente el 50 por ciento va a History, hasta el 75 por ciento si Memory Bank está desactivado, y aproximadamente el 25 por ciento va a Memory Bank.
Las Story Cards se incluyen según cuán reciente y cuántas veces se usaron sus triggers. Las ordenamos y priorizamos con esos criterios, y luego incluimos tantas como quepan en el espacio disponible.
Cómo prioriza el sistema el historial
Al evaluar coincidencias, consideramos al menos 4 acciones al buscar triggers. Sin embargo, si hay más de 500 tokens disponibles para Story Cards, usamos el número de tokens disponibles dividido entre 100. Si hay 900 tokens disponibles, revisamos 9 acciones recientes para buscar coincidencias de triggers. La cantidad de Story Cards incluidas depende de la relevancia de las coincidencias y de la longitud de cada Story Card coincidente.
Intentamos usar la mayor cantidad posible del historial de una aventura. Empezamos por la acción más reciente, que siempre se incluye, y agregamos cada acción anterior al contexto hasta que se llena el espacio disponible o hasta incluir todo el historial. Por lo general, esto es alrededor del 50 por ciento de los tokens disponibles después de los elementos Required, o el 75 por ciento si Memory Bank está desactivado.
Después, Memory Bank usa los tokens restantes tras History, por lo general alrededor del 25 por ciento de los tokens que quedan después de incluir los elementos Required. Memory Bank recupera recuerdos clasificados por relevancia respecto a la acción más reciente. Añadimos tantos recuerdos coincidentes como quepan dentro de los tokens disponibles para Memory Bank.