应用指南

人在环代理

人机交互 (HITL) 代理是一种人工智能系统,它会在采取相应行动之前暂停以获取人们的批准、纠正或输入。

概述

人机交互 (HITL) 代理是一种人工智能系统,它会在采取相应行动之前暂停以获取人们的批准、纠正或输入。他们让人类对高风险的决策负责,同时仍然让自动化来完成繁重的工作。

人在环代理专注于实际部署:将模型功能转化为可靠的日常工作流程,提供可衡量的价值。

深入探讨

完全自主的代理人自行决定并采取行动;人机循环代理会插入一个检查点,人员会在代理执行建议的操作之前对其进行检查。常见的模式包括批准门(代理起草电子邮件或退款并等待点击发送)、基于置信度的升级(只有当确定性低于阈值时才会打断人员)和主动学习(不确定的案例被发送给人们,他们的答案将成为未来的训练数据)。目标是将自动化的速度和规模与人类的判断、责任以及在错误造成损害之前发现错误的能力结合起来。对于非营利组织来说,这可能意味着代理起草拨款回复,但绝不会发送与工作人员签署无关的回复。

技术洞察

从技术上讲,HITL 被实现为代理控制循环中的中断或工具调用门。当代理提出敏感操作时,协调器会暂停执行,序列化代理的状态,并发出人工审核请求。一个人批准、编辑或拒绝;该响应作为上下文反馈,然后循环继续。置信度分数、不确定性估计或策略规则决定哪些操作触发暂停或自动运行。

掌握人在环代理

人机交互 (HITL) 代理是一种人工智能系统,它会在采取相应行动之前暂停以获取人们的批准、纠正或输入。他们让人类对高风险的决策负责,同时仍然让自动化来完成繁重的工作。人在环代理专注于实际部署:将模型功能转化为可靠的日常工作流程,提供可衡量的价值。为了建立深入的理解,请将人在环代理视为一种操作模型,而不是单一功能:定义期望的结果,澄清假设,并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。

在实践中,使用人在环代理的强大团队专注于工作流程结果,而不是模型演示,并尽早定义人工检查点。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

应用级设计决定了人工智能是否能改善实际结果。与此同时,将损坏的流程自动化可能会加剧现有的问题。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

应用级设计决定了人工智能是否能改善实际结果。

应用级设计决定了人工智能是否能改善实际结果。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

良好的工作流程集成可以创造用户值得信赖的生产力收益。

良好的工作流程集成可以创造用户值得信赖的生产力收益。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

范围明确的用例可以减少变更疲劳和实施风险。

范围明确的用例可以减少变更疲劳和实施风险。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

人在环代理的未来

期望比二元批准/拒绝更细致的控制。客服人员将越来越多地提出澄清问题,提出几种需要权衡的选项,并了解每个用户的风险承受能力,以便随着时间的推移减少打扰。欧盟人工智能法案等法规推动了对高风险用途的人工监督,因此 HITL 检查点正在成为合规性要求,而不仅仅是一种设计选择。用于异步批准、审计跟踪和“暂停和恢复”代理状态的工具正在快速成熟。

现实世界的实施

客户支持代理起草退款批准书,但将任何超过 500 美元的退款转交给人工经理进行一键式签署。

医疗编码人工智能会标记不明确的诊断,供经过认证的编码员确认而不是猜测。

内容审核系统会自动删除明显的垃圾邮件,但会将边界帖子升级给人工审核员。

编码代理提出数据库迁移并等待开发人员批准,然后再在生产中运行。

实施模式

人在环代理的实践

客户支持代理起草退款批准书,但将任何超过 500 美元的退款转交给人工经理进行一键式签署。

客户支持代理起草退款批准书,但将任何超过 500 美元的退款发送给人工经理进行一键签核。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

人在环代理的实践

医疗编码人工智能会标记不明确的诊断,供经过认证的编码员确认而不是猜测。

医疗编码人工智能会标记不明确的诊断,让经过认证的编码员进行确认而不是猜测。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

人在环代理的实践

内容审核系统会自动删除明显的垃圾邮件,但会将边界帖子升级给人工审核员。

内容审核系统会自动删除明显的垃圾邮件,但将边界帖子升级给人工审阅者。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

人在环代理的实践

编码代理提出数据库迁移并等待开发人员批准,然后再在生产中运行。

编码代理提出数据库迁移并等待开发人员批准,然后再在生产中运行。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时,通常会得到更好的结果。

风险与防护栏

!

将损坏的流程自动化可能会加剧现有问题。

!

团队可能会过度自动化并消除所需的人工判断。

!

如果不持续评估输出,质量可能会出现偏差。

实施路线图

1

绘制当前工作流程并确定摩擦最大的步骤。

绘制当前工作流程并确定摩擦最大的步骤。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

在完全自动化之前定义人工检查点。

在完全自动化之前定义人工检查点。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

对用户进行提示、升级路径和质量标准方面的培训。

对用户进行提示、升级路径和质量标准方面的培训。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

跟踪任务级结果以确认持续价值。

跟踪任务级结果以确认持续价值。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索