Cosa entra nel contesto inviato all'AI?

Il contesto è l'insieme di dati inviati ai modelli linguistici AI e considerati quando viene generata la tua prossima azione in Questsmith.

Il contesto in Questsmith è composto da molti elementi, e questo articolo spiega come questi elementi vengano combinati a ogni chiamata AI.

Se nella tua avventura non c'è contesto sufficiente per includere tutti i Plot Essentials, le Story Cards e gli altri input, alcune parti vengono automaticamente tagliate o rimosse.

Il contesto ha due sezioni

Quando il contesto supera la capienza disponibile, Questsmith usa due sezioni: Required e Dynamic.

Gli elementi Required includono Instructions, Plot Essentials, Story Summary, Author's Note, Front Memory for Scripts e l'ultima azione eseguita, oppure l'ultimo output AI se l'ultima azione era una Continue action. In generale, quando sono presenti, cerchiamo di includere per intero tutti gli elementi Required.

Se il totale degli elementi Required supera il 70% della dimensione del contesto, includiamo prima le sezioni più importanti e poi tagliamo o escludiamo il resto per rientrare nel limite del 70% dei token. Front Memory e Last Action sono sempre inclusi per intero. Finché il limite non è pieno, includiamo, in ordine di priorità, Author's Note, Plot Essentials, AI Instructions e Story Summary. Se una sezione non entra nei token rimanenti, ne tagliamo la parte finale per farla rientrare. Gli elementi a priorità più bassa non vengono inclusi.

Gli elementi Dynamic includono Story Cards, Memory Bank e Story History, cioè le tue azioni passate. Questi elementi seguono regole più flessibili.

Gli elementi Dynamic riempiono i token rimanenti dopo gli elementi Required. Circa il 25% dei token rimanenti va alle Story Cards corrispondenti, circa il 50% va alla History, fino al 75% se il Memory Bank è disattivato, e circa il 25% va al Memory Bank.

Le Story Cards vengono incluse in base a quanto recentemente e quanto spesso i loro trigger sono stati usati. Le ordiniamo e le priorizziamo con questi criteri, poi includiamo quante più possibile nello spazio disponibile.

Come il sistema dà priorità alla cronologia

Quando valutiamo le corrispondenze, consideriamo almeno 4 azioni per cercare i trigger. Tuttavia, se per le Story Cards sono disponibili più di 500 token, usiamo il numero di token disponibili diviso per 100. Se ci sono 900 token disponibili, analizziamo 9 azioni recenti per trovare corrispondenze di trigger. Il numero di Story Cards incluse dipende dalla rilevanza delle corrispondenze e dalla lunghezza di ciascuna Story Card corrispondente.

Cerchiamo di usare quanta più cronologia possibile di un'avventura. Partiamo dall'azione più recente, che è sempre inclusa, e aggiungiamo ogni azione precedente al contesto finché lo spazio disponibile non è pieno o finché non abbiamo incluso tutta la cronologia. In genere, questo corrisponde a circa il 50% dei token disponibili dopo gli elementi Required, oppure al 75% se il Memory Bank è disattivato.

Successivamente, il Memory Bank usa i token rimanenti dopo la History, in genere circa il 25% dei token rimasti dopo aver incluso gli elementi Required. Il Memory Bank recupera i ricordi classificati per rilevanza rispetto all'azione più recente. Aggiungiamo quanti più ricordi corrispondenti possibile entro i token disponibili per il Memory Bank.