Compactage du contexte et gestion de l'historique des conversations

La plupart des API de chat sont sans état. Chaque requête renvoie la conversation jusqu'à présent et le modèle la lit à partir de zéro. Les jetons, le coût et la latence augmentent donc à mesure que la session s'allonge, jusqu'à ce que l'historique atteigne la limite de contexte et que la requête échoue ou soit tronquée. La qualité peut chuter même avant ce point, car les détails pertinents sont enfouis parmi les vieux documents. La stratégie la plus simple est la troncature, généralement sous forme de fenêtre glissante : conservez l'invite du système et les tours les plus récents, et supprimez le reste. C'est peu coûteux et prévisible, mais il oublie les premiers faits, tels que les contraintes énoncées par l'utilisateur au début. Une amélioration courante consiste à épingler les messages importants afin qu’ils ne soient jamais supprimés. Le résumé continu remplace les tours plus anciens par un résumé écrit par modèle qui est mis à jour à mesure que la conversation se développe. Il conserve l'essentiel dans beaucoup moins de jetons. Le coût est que les résumés perdent des détails et peuvent introduire des erreurs, et ces erreurs s'aggravent lorsqu'un résumé est lui-même à nouveau résumé. Le compactage est une version plus délibérée utilisée dans les outils d'agent. Lorsque l'utilisation du jeton dépasse un seuil, le système demande au modèle d'écrire un transfert structuré couvrant l'objectif, la progression, les décisions, les problèmes ouverts et les noms de fichiers clés. Il démarre alors un nouveau contexte avec ce transfert ainsi que les tours les plus récents. Claude Code, par exemple, dispose d'une commande compacte et peut également compacter automatiquement près de la limite. La suppression des résultats des outils cible la plus grande source de surcharge dans les sessions d'agent : les résultats volumineux issus des recherches, des lectures de fichiers et des commandes qui étaient utiles autrefois. Les échanger contre de courts espaces réservés libère de l'espace et enregistre toujours l'appel. La mémoire externe stocke les faits dans un fichier ou une base de données et les récupère lorsque cela est pertinent, afin qu'ils survivent à tout découpage. Une idée fausse courante est que le modèle se souvient seul des parties antérieures d’une conversation. Toute continuité provient de ce que l'application choisit de renvoyer ou de récupérer.