Stessa memoria AI, meno token: come un nuovo approccio batte un sistema agente leader a una frazione del costo
Due sistemi AI insegnano agli agenti a imparare dai propri errori. Uno invia ogni lezione ogni volta. L'altro invia solo ciò che ogni modello può effettivamente utilizzare. La differenza si vede nella fattura.
Punti chiave
- ALTK-Evolve ha eguagliato o superato il sistema di memoria agente ACE su un benchmark di 168 task utilizzando fino a un settimo dei token di elaborazione per task.
- Su DeepSeek-V3.2, un modello AI forte, ALTK-Evolve ha ottenuto l'89,3% di completamento task rispetto all'80,4% di ACE, a circa il 40% del costo in token di ACE.
- Su un modello più debole, gpt-oss-120b, l'accuratezza era quasi identica tra i due sistemi, ma ALTK-Evolve ha utilizzato circa 116.000 token per task rispetto ai 777.000 di ACE.
- Entrambi i sistemi evitano di comprimere le lezioni apprese di un agente in un breve riassunto, ma differiscono notevolmente su come quelle lezioni raggiungono il modello al momento della decisione.
- Il lavoro è stato condiviso dal team ALTK-Evolve su Hugging Face.
Immagina di insegnare a un nuovo dipendente non attraverso un manuale, ma lasciandogli commettere errori e poi mostrandogli esattamente cosa è andato storto. Questo è, approssimativamente, quello che fanno entrambi questi sistemi AI. La differenza è se consegni al dipendente ogni nota mai scritta, o solo quelle rilevanti per il lavoro di oggi.
Quale problema risolvono questi sistemi?
Gli agenti AI, software che esegue autonomamente attività multi-step, falliscono in un modo caratteristico. Solitamente conoscono le regole. Semplicemente le applicano in modo inaffidabile.
Dai a un agente AI un'attività come dividere un conto tra diverse app simulate, e potrebbe chiamare la funzione sbagliata, recuperare il record della persona sbagliata, o restituire una risposta quando non era stata richiesta alcuna risposta. L'agente ha la conoscenza. Non ha ancora imparato come applicarla correttamente.
Sia ACE (Agentic Context Engineering) che ALTK-Evolve risolvono questo estraendo lezioni dai tentativi passati dell'agente, quindi alimentando quelle lezioni di nuovo all'agente la prossima volta che funziona. Nessuna etichetta umana. Nessun riaddestramento del modello sottostante. Solo memoria, utilizzata al momento della decisione.
Su cosa i due sistemi non sono d'accordo?
Non sono d'accordo sulla consegna, ed è da lì che viene la differenza di costo.
ACE mantiene un manuale grande e ben curato e inietta il tutto nel contesto dell'agente, il blocco di testo che il modello legge prima di agire, ad ogni singolo step. È approfondito. È anche costoso.
ALTK-Evolve tratta la consegna come regolabile. Per un modello forte con molto spazio di manovra, può inviare l'intero set di lezioni. Per un modello più debole, seleziona solo le lezioni più rilevanti per il compito attuale, mantiene un nucleo fisso di linee guida ad alta affidabilità, e lascia il resto in archivio. Le stesse lezioni esistono in entrambi i casi. Meno di loro viaggiano verso il modello.
I risultati sul benchmark AppWorld, un test di 168 compiti realistici multi-app, sono mostrati di seguito.
| Modello | Sistema | Completamento task | Token per task |
|---|---|---|---|
| DeepSeek-V3.2 (forte) | ACE | 80,4% | 634.000 |
| DeepSeek-V3.2 (forte) | ALTK-Evolve | 89,3% | 263.000 |
| gpt-oss-120b (più debole) | ACE | 54,8% | 777.000 |
| gpt-oss-120b (più debole) | ALTK-Evolve | 56,0% | 116.000 |
I token sono le unità di testo che un modello AI legge e scrive. Più token significano più tempo di elaborazione e costi più elevati.
Perché inviare meno lezioni a volte funziona meglio?
Per compiti più difficili, l'agente deve scegliere la lezione giusta, non navigare tra tutte. Su compiti facili con un modello più debole, un manuale completo dà un piccolo vantaggio, perché la risposta è vicina alla superficie e più contesto aiuta. Su compiti difficili, quello stesso flusso di contesto intralcia.
Un modello più forte assorbe più contesto senza perdere il filo. Un modello più debole può annegare in esso.
Entrambi i sistemi concordano su un principio importante: non comprimere le lezioni in un breve riassunto. Una lezione che è apparsa in cinque compiti separati è sostanzialmente diversa da una che è apparsa una volta. Schiaciarle insieme perde quella distinzione. ALTK-Evolve tiene traccia di quanti episodi indipendenti hanno prodotto ogni lezione. ACE mantiene un conteggio utile-versus-dannoso per elemento. Etichette diverse, stessa logica sottostante.
Cosa accade dopo?
Il team ALTK-Evolve dice che la domanda su quante lezioni inviare esattamente, e come questo si scala tra modelli di diversa forza, è il soggetto del loro prossimo articolo. La libreria tecnica e un report completo sono già pubblici per i ricercatori che vogliono testare l'approccio.
Per chiunque costruisca o paghi per sistemi di agenti AI, il punto pratico è semplice: quello che un modello viene detto al momento della decisione determina sia l'accuratezza che il costo, e queste due cose non devono scambiarsi tra loro.
Domande comuni
Questo significa che ACE è un sistema cattivo?
No. ACE e ALTK-Evolve risolvono lo stesso problema e concordano sulle parti difficili. La propria storia di efficienza di ACE si concentra su quanto economicamente costruisce il suo archivio di memoria. Il guadagno di efficienza di ALTK-Evolve viene dall'erogazione di meno lezioni per step, che è un asse completamente diverso.
Questo influisce direttamente sugli utenti ordinari?
Non ancora in un prodotto che puoi scaricare. Il lavoro è nella fase di ricerca, testato su un benchmark di compiti simulati. Ma i risparmi di costo a cui punta importano per qualsiasi azienda che esegue agenti AI su larga scala, e i costi di gestione più bassi in genere si traducono in prezzi più bassi nel tempo.
