人工介入不只有“批准/拒绝”
人工可以补充缺失信息、复核事实和推理证据、授权高风险副作用、接管异常 Run,以及事后抽检改进策略。这些角色需要不同界面和责任:澄清者提供事实不等于审批者承担风险,事后审计也不能替代事前授权。
先定义“为什么必须是人”:法律/组织责任、价值判断、事实缺失,还是当前自动化尚不可靠。若规则清晰且高频,应编码成确定性策略;若人工也无法获得足够信息,增加审批只制造虚假安全感。
| 角色 | 输入 | 产出 |
|---|---|---|
| 澄清 | 缺失或冲突事实 | 可验证信息 |
| 复核 | 结论、证据、替代方案 | 接受/修正及理由 |
| 授权 | 具体动作与影响 | 有范围、有时限的许可 |
| 接管 | 状态、时间线、未知结果 | 人工处置与回写事实 |
用风险和不确定性触发人工
风险维度。综合影响范围、可逆性、金额、数据敏感度、外部承诺和职责分离。高风险且不可逆的动作即使模型置信度高,也可能必须人工授权;置信度不能抵消责任要求。
不确定性维度。事实缺失、来源冲突、策略无覆盖、候选难区分或结果无法验证时,触发澄清/复核。不要把模型自报概率直接当置信度;优先用证据缺口、模型分歧和历史校准。
异常维度。步骤、成本、时间、Tool 序列或访问范围偏离基线时触发接管。异常检测应提供可解释特征,否则审批者只会面对一个无法判断的“风险高”。
用风险 × 不确定性矩阵选择自动、抽检、复核或授权。全量审批会产生积压和疲劳,使真正危险动作也被快速通过;低风险高频动作应通过策略、限额和抽样治理。
审批者必须看到足够但不过载的信息
审批载荷包含:谁发起、作用于哪个对象、具体参数/差异、不可逆后果、关键证据及时间、策略为何触发、可选修改和升级路径。展示模型摘要时同时给出权威数据链接;摘要可能遗漏,不能成为唯一事实来源。
审批者需要看到“批准后会发生什么”,而不是完整思维链。敏感信息按审批者权限最小披露。批量动作展示总量、代表样本、异常项和上限,禁止用“批准 1,284 项”隐藏每项差异。
审批是可持久化中断
中断保存待审批动作、参数摘要/Artifact、状态版本、风险判断、策略/Tool 版本和预算,不占用 Worker。审批事件有唯一 ID 和不可变决定记录。OpenAI Agents SDK 当前的 HITL 流程也把 interruption 与可序列化 RunState 作为恢复核心,并要求恢复时重新评估审批状态。
若资源已变化、价格过期、审批人失权或策略升级,旧批准失效并重新申请。拒绝以结构化 Observation 回注,记录不可重复申请的 reasonCode,防止模型换一种表述循环申请。
长等待需要组织语义
每个请求定义截止时间、提醒、自动撤销或升级路径。代理审批必须验证委托范围和有效期;高风险操作采用职责分离,发起人不能审批自己。审批者离职、角色变化、Run 取消和资源删除都会使未处理请求失效。
并发审批用状态版本和一次性领取避免双重处理;多个审批人的规则明确 all/any/quorum 及顺序。超时默认动作由风险决定,高风险不能因为“无人处理”自动放行。紧急 Break-glass 需短时、最小范围、强审计和事后复核。
评估人工节点是否真正降低风险
同时看审批量、等待时长、超时、拒绝/修改率、误批/漏批、事故、审批者一致性和疲劳信号。拒绝率很低可能表示前置策略成熟,也可能表示橡皮图章;需要抽查决策质量和结果。
定期将稳定、高一致性的低风险判断编码成策略;把争议大、责任性强的判断保留人工,并改进证据呈现。目标不是审批数归零,而是在可接受延迟下把人放到机器无法可靠承担的节点。
模型置信度 99% 时,高金额付款是否可跳过审批?
批准后恢复发现订单金额变了,能继续吗?
审批通过率 99.9% 说明什么?
资料与事实边界
以下以官方文档、标准、论文和原始工程资料为主。厂商 API、价格、限额与模型能力会变化,落地时仍需按目标版本做能力探测和回归。
- OpenAI Agents SDK:Human-in-the-loop — Tool approval、中断、RunState 序列化和恢复语义
- NIST SP 800-53 Rev. 5:Access Control — 最小权限、职责分离和访问控制治理参考
- OWASP Agentic AI Threats and Mitigations — 过度自治和人工控制失效的风险背景