人在环代理
人机交互 (HITL) 代理是一种人工智能系统，它会在采取相应行动之前暂停以获取人们的批准、纠正或输入。
概述
They keep a human accountable for high-stakes decisions while still letting automation do the heavy lifting.
深入探讨
完全自主的代理人自行决定并采取行动；人机循环代理会插入一个检查点，人员会在代理执行建议的操作之前对其进行检查。常见的模式包括批准门（代理起草电子邮件或退款并等待点击发送）、基于置信度的升级（只有当确定性低于阈值时才会打断人员）和主动学习（不确定的案例被发送给人们，他们的答案将成为未来的训练数据）。目标是将自动化的速度和规模与人类的判断、责任以及在错误造成损害之前发现错误的能力结合起来。对于非营利组织来说，这可能意味着代理起草拨款回复，但绝不会发送与工作人员签署无关的回复。
技术洞察
从技术上讲，HITL 被实现为代理控制循环中的中断或工具调用门。当代理提出敏感操作时，协调器会暂停执行，序列化代理的状态，并发出人工审核请求。一个人批准、编辑或拒绝；该响应作为上下文反馈，然后循环继续。置信度分数、不确定性估计或策略规则决定哪些操作触发暂停或自动运行。
战略影响
构建选择
应用级设计决定了人工智能是否能改善实际结果。
团队与工作流程
良好的工作流程集成可以创造用户值得信赖的生产力收益。
风险与安全
范围明确的用例可以减少变更疲劳和实施风险。
人在环代理的未来
期望比二元批准/拒绝更细致的控制。客服人员将越来越多地提出澄清问题，提出几种需要权衡的选项，并了解每个用户的风险承受能力，以便随着时间的推移减少打扰。欧盟人工智能法案等法规推动了对高风险用途的人工监督，因此 HITL 检查点正在成为合规性要求，而不仅仅是一种设计选择。用于异步批准、审计跟踪和“暂停和恢复”代理状态的工具正在快速成熟。
现实世界的实施
客户支持代理起草退款批准书，但将任何超过 500 美元的退款转交给人工经理进行一键式签署。
医疗编码人工智能会标记不明确的诊断，供经过认证的编码员确认而不是猜测。
内容审核系统会自动删除明显的垃圾邮件，但会将边界帖子升级给人工审核员。
编码代理提出数据库迁移并等待开发人员批准，然后再在生产中运行。
风险与防护栏
将损坏的流程自动化可能会加剧现有问题。
团队可能会过度自动化并消除所需的人工判断。
如果不持续评估输出，质量可能会出现偏差。
实施路线图
绘制当前工作流程并确定摩擦最大的步骤。
在完全自动化之前定义人工检查点。
对用户进行提示、升级路径和质量标准方面的培训。
跟踪任务级结果以确认持续价值。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Human-in-the-Loop Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Human-in-the-Loop Agents?
人机交互 (HITL) 代理是一种人工智能系统，它会在采取相应行动之前暂停以获取人们的批准、纠正或输入。他们让人类对高风险的决策负责，同时仍然让自动化来完成繁重的工作。
与完全自主的代理相比，人机交互代理的定义是什么？
定义功能是人工检查点，人员在执行之前审查、编辑或批准代理建议的操作。
HITL 系统中的“基于置信度的升级”模式是什么？
基于置信度的升级仅将不确定的案例发送给人员，让代理自动处理高置信度的案例。
人工检查点通常如何在代理的控制循环内实施？
协调器暂停循环，保存状态，并发出人工审核请求；人类的反应恢复执行。
在“主动学习”中，人类解决的案例会发生什么？
主动学习将不确定的情况传递给人类，并使用他们的标记答案随着时间的推移改进模型。
为什么《欧盟人工智能法案》等法规与 HITL 代理相关？
欧盟人工智能法案要求对高风险应用程序进行有意义的人工监督，使 HITL 检查点成为合规性需求。