概述
合适的检查点取决于影响程度、不确定性以及可用的人工背景信息。
深入探讨
Human oversight is a system-design choice, not a guarantee of accuracy. NIST AI RMF recommends defining roles and responsibilities for human-AI configurations. Article 14 of the EU AI Act specifies oversight requirements for high-risk AI systems; it does not require a human checkpoint for every AI use. Human reviewers need usable information, time, authority, and a way to intervene. Article 14 of the EU AI Act addresses human oversight for high-risk AI systems within its scope. Oversight measures should be proportionate to risk, autonomy, and context, and aim to prevent or minimize risks to health, safety, or fundamental rights. They should help overseers monitor operation, recognize automation bias, interpret output, disregard or override it, and interrupt the system when appropriate. A confidence threshold can route low-confidence cases to a reviewer, while checkpoints may suspend and preserve pending state until review and then resume. Active-learning labels may inform later updates, but improvement depends on data and retraining.
现实世界的实施
在执行高影响力的操作前暂停以进行审查。
将不确定的案例连同触发升级的证据一起上报。
在允许的情况下，将人工更正记录为带标签的反馈。
为涵盖的工作流提供停止或覆盖控制。
人在环代理的未来
监督要求取决于系统用途和适用法律。测试人类是否能够理解、质疑并停止相关操作，而不是仅仅计算一次名义上的批准点击。
付诸实践
为什么这很重要
- 构建选择. 应用级设计决定了人工智能是否能改善实际结果。
- 团队与工作流程. 良好的工作流程集成可以创造用户值得信赖的生产力收益。
- 风险与安全. 范围明确的用例可以减少变更疲劳和实施风险。
留意
- 将损坏的流程自动化可能会加剧现有问题。
- 团队可能会过度自动化并消除所需的人工判断。
- 如果不持续评估输出，质量可能会出现偏差。
后续步骤
- 绘制当前工作流程并确定摩擦最大的步骤。
- 在完全自动化之前定义人工检查点。
- 对用户进行提示、升级路径和质量标准方面的培训。
- 跟踪任务级结果以确认持续价值。
不断探索
常见问题
什么是“人在回路”智能体？
“人在回路”智能体将选定的决策或操作路由给人工进行审查、更正或批准。合适的检查点取决于影响程度、不确定性以及可用的人工背景信息。
与完全自主的代理相比，人机交互代理的定义是什么？
定义功能是人工检查点，人员在执行之前审查、编辑或批准代理建议的操作。
HITL 系统中的“基于置信度的升级”模式是什么？
置信度阈值是一种可配置的决策规则：低于所选阈值的案例可以升级以供审查。该阈值需要针对特定任务进行校准和监控；它并不能确保决策的可靠性。
人工检查点通常如何在代理的控制循环内实施？
检查点可以暂停执行、保存挂起状态或请求的操作，并在人工审查或响应后恢复。具体机制取决于智能体框架。
在“主动学习”中，人类解决的案例会发生什么？
主动学习可以将选定的案例路由给人工进行标注，这些标注可用于后续训练。如果标注和再训练过程得当，这可以改进模型，但改进并非自动发生。
欧盟《人工智能法案》第14条针对哪些系统规定了人工监督要求？
第14条适用于法案范围内的“高风险”人工智能系统，并要求根据系统的风险、自主性和背景设计人工监督。它并不要求每种“人在回路”设计都采用相同的批准门控。