概述
借用人类心理学,这种分裂让代理人既能回忆起发生过的事情,又能知道什么是真实的。
深入探讨
语言模型本身是无状态的:一旦对话滚动经过其上下文窗口,它就会忘记。为了构建跨会话持续存在的代理,开发人员添加了受人类认知启发的外部记忆。情景记忆存储特定的、带有时间戳的体验(“周二用户说他们更喜欢早会”),而语义记忆存储提炼的一般知识(“该用户是素食主义者”)。实际上,它们保存在矢量数据库和结构化存储中。当代理需要采取行动时,它会查询内存,检索最相关的项目,并将它们插入到提示中。随着时间的推移,重复的事件会被整合为稳定的语义事实,反映了人类如何将经验转化为知识。
现实世界的实施
编码助理回忆起您的项目跨会话使用 TypeScript 和您首选的测试框架
客户支持机器人会记住过去的特定票证(情景)和您的帐户级别(语义)
一位私人助理将许多“我吃了一份沙拉”的提及整合到您是素食主义者的稳定事实中
存储早期查询结果的研究代理,这样就不会重复相同的网络搜索
情景记忆和语义代理记忆的未来
内存正在成为个人人工智能助理的差异化因素。预计标准化的内存层可以在应用程序中生存,更智能的遗忘策略可以删除陈旧或低价值的条目,以及存储可重用技能而不仅仅是事实的程序内存。隐私和用户控制将成为核心:人们会想要检查、编辑和删除代理所记住的内容。研究还正在解决记忆冲突,即新信息应该覆盖过时的信念,而不抹去有用的历史。
付诸实践
为什么这很重要
- 成本与预算. 多年来,架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈,而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂,安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是情景记忆和语义代理记忆?
人工智能代理需要两种长期记忆:针对特定过去事件的情景记忆和针对一般事实的语义记忆。借用人类心理学,这种分裂让代理人既能回忆起发生过的事情,又能知道什么是真实的。
人工智能代理中的情景记忆和语义记忆有什么区别?
情景记忆保存着带有时间戳的特定经历,而语义记忆则保存着提炼出来的一般事实,反映了人类的区别。
What limitation applies to a language model without an external memory or retrieval system?
该指南的主张涉及其本身的模型; an application can add external memory that persists and is retrieved separately.
记忆通常如何存储以便快速检索?
文本被转换为嵌入向量并存储在向量数据库中,从而实现基于相似性的查找。
在查询时,智能体如何找到相关记忆?
代理嵌入当前上下文并检索最接近的存储向量,通常通过余弦相似度。
“巩固”对特工的记忆有什么作用?
整合将许多相关的片段条目总结为稳定的事实,减少混乱和矛盾,就像人类从经验中形成知识一样。