发生了什么
AWS 发布了人工智能驱动系统的技术指南和示例部署，旨在保存和检索机构知识。该系统使用检索增强生成来回答组织自己的文档中的问题，并提供文本和语音访问、可选的头像交互以及旨在减少重复模型调用的缓存。
AWS 的帖子描述了一个可部署的原型，用于保存所谓的机构或“部落”知识：当经验丰富的员工离开时，程序、政策和实践专业知识可能会变得难以获取。组织将文档上传到 Amazon S3，其中 Amazon Bedrock 知识库处理文档分块、嵌入和检索。然后，选定的基础模型会根据从这些文档中检索到的段落生成答案。该系统通过支持文本和语音交互的浏览器界面呈现这些答案，并且可以连接到可配置的人工智能头像。 AWS 将设计定位于制造、医疗保健、金融服务、能源和政府等环境，但该帖子没有记录任何指定客户的生产部署。
该架构结合了用于身份验证的 Amazon Cognito、用于受控访问的 API 网关、用于编排的 AWS Lambda、用于应用程序文件和源材料的 Amazon S3 以及作为知识库背后的矢量存储的 Amazon OpenSearch Serverless。 Amazon Titan Text Embeddings 用于文档嵌入。帖子中列出的可选答案生成模型是 Amazon Nova Pro 和 Anthropic Claude 3 Sonnet。使用 Amazon Transcribe 将语音输入转换为文本，而 Amazon Polly 则生成语音响应。化身集成使用 WebRTC 进行流传输，使用 WebSocket 进行控制，帖子称化身技术基于 DeepBrain AI。据 AWS 称，组织可以更改头像提供者、外观、声音和行为。
该部署是作为基于 CloudFormation 的应用程序提供的，AWS 表示，从 IT 或 DevOps 团队的一次性设置开始，可以在数小时内完成安装。用户将应用程序的源文件夹上传到 S3 存储桶、创建 CloudFormation 堆栈、配置登录详细信息并打开生成的前端 URL。该指南是针对 us-east-1 区域编写和测试的，AWS 表示选择该区域是为了广泛的基础模型和头像流可用性。其他地方的部署需要检查模型和头像可用性，并在必要时更改硬编码区域。该设计支持 Word、PDF、纯文本、Markdown 和 JSON 文档，但 AWS 建议使用 Markdown 或结构化 JSON 来提高检索性能。
缓存是原型的核心。浏览器端最近最少使用的缓存存储最近的交互，而 DynamoDB 存储更广泛的响应结果，其生存时间设置因内容类型而异。 AWS 报告称，具有许多重复问题的工作负载在测试中实现了 50-70% 的缓存命中率，但强调实际节省取决于查询组合。该实现匹配精确的查询文本而不是语义相似性，因此同一问题的不同措辞版本可能不会重复使用答案。 AWS 还表示，新的或更改的文档只有在自动摄取作业完成后才能查询，而不是立即查询。
为什么这很重要
该设计为组织提供了一种将分散的程序和专家文档转变为对话式知识服务的具体方法。它的实用价值受到持续成本、对可靠连接的依赖、有限的缓存匹配、摄取延迟以及接地答案仍然可能错误的风险的影响。
该系统解决了一个实际的操作问题：重要的知识通常分布在文档、存储库和单个员工中。自然语言界面可以让那些不知道信息存储在哪里或喜欢说话而不是打字的工作人员更容易找到程序。当工作人员用双手检查程序时，语音访问也可能很有用，尽管消息来源没有提供用户研究来证明它可以提高采用率或信任度。这里有意义的开发是将基于文档的人工智能检索、语音处理、缓存和化身组合到可复制的云架构中。
对于组织来说，该示例减轻了独立组装这些组件的工程负担。 AWS 表示，具有语音、头像渲染、检索和缓存功能的定制基岩系统需要数周到数月的时间和专业知识，而示例提供了基础设施模板和应用程序流程。这可以使较小的技术团队更容易进行实验。它并不能消除选择权威文档、设置权限、管理保留、审查生成的答案或与现有存储库集成的工作。文章中声称加速器具有“生产质量”是供应商的特征；该消息来源未提供独立评估或客户证据。
该架构还使企业人工智能的经济性和治理变得可见。 OpenSearch 无服务器矢量存储具有始终在线的最低限度，并且根据 AWS 的说法，在默认底价下，在可变推理和其他服务费用之前，每月的固定基准成本可以达到数百美元。缓存可以减少重复的模型调用，但它不会消除存储、向量存储、语音、网络或运营成本。安全性取决于跨多个 AWS 服务正确配置的身份和访问控制。由于知识库可能包含内部程序或敏感的机构信息，因此部署需要仔细的授权、文档治理和监控。在检索到的文档中提供答案可以减少不受支持的答案，但 AWS 明确表示这并不能消除错误。
互动机制：它实际上是如何运作的
以交互方式探索这一发展背后的基础技术。
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
接下来看什么
主要问题是组织是否可以在自己的工作负载下验证原型，控制敏感知识和成本，并添加 AWS 确定为未来或建议的增强功能的保护措施。需要进行独立测试来确定准确性、延迟、可扩展性以及基于化身的交互对采用的影响。
该系统的第一个测试是组织自己材料的准确性，特别是当文档冲突、不完整或使用专门语言时。 AWS 建议显示来源引用，但该帖子不报告引用准确性、答案准确率、错误答案率或与普通搜索的比较。组织应测试生成的答案是否忠实反映最新批准的程序，以及用户是否可以识别系统何时缺乏证据。该帖子建议让人员参与重大后果或安全相关的决策。显式置信阈值和答案验证检查被确定为推荐的增强功能，而不是已实现的功能。
运营绩效需要进行衡量，而不是根据 AWS 的指示性数据进行假设。该帖子报告称，默认设置可以处理大约 50 到 100 个并发用户，并具有亚秒级缓存响应，而更高的配额可以支持大约 500 到 1,000 个用户，而相同的架构可以通过主动增加配额来支持超过 5,000 个用户。据报道，新的知识库查询大约需要两到四秒，其中还有额外的时间用于语音处理。这些数字取决于区域、型号、文档大小、缓存命中率和服务配额。来源不提供测试工作负载、方法、误差线或独立复制，因此它们应被视为计划估计而不是保证。
连接性和信息新鲜度是重要的限制因素。每个查询都依赖于到 AWS 的往返，并且虚拟形象需要稳定、低延迟、合理的高带宽连接。 AWS 表示，该原型没有离线、边缘或降级模式功能，限制了其对断开连接或间歇性连接的工业环境的适用性。文档摄取管道也是异步的，当措辞和潜在情况需要仔细审查时，精确文本缓存可以提供事先的答案。未来的工作将包括语义缓存匹配、离线回退、文本优雅降级、更强的答案验证和更严格的成本控制。消息人士没有透露何时或是否会提供这些增强功能。