先帮助用户建立正确心智模型
在用户交出任务之前,界面先回答三个问题:系统能访问什么、能对外做什么、结果需要谁验证。建议型助手、协作型 Copilot 与受约束自治 Agent 的承诺不同,不能都用一个聊天框和“我来处理”概括。能力说明应绑定当前工作区、身份与已连接 Tool,而不是写成泛化营销文案。
Microsoft Human-AI Interaction Guidelines把“首次交互时说明能力”和“说明系统可以做到多好”分开,原因是能力清单与可靠程度不是同一件事。产品应同时标明数据覆盖时间、可能费用、预计耗时、权限范围和输出的验证责任;未知时给区间或明确“尚未估算”,不要制造虚假精度。
| 模式 | 系统承诺 | 用户必须看见 |
|---|---|---|
| 建议 | 生成候选,不产生外部副作用 | 依据、假设、可编辑输出 |
| 协助 | 准备行动,关键步骤由人提交 | 计划、参数、差异和审批点 |
| 受约束自治 | 在规则、预算与时限内自动执行 | 授权范围、运行状态、停止与审计入口 |
自主性应随风险与信任渐进开放
默认从只读、草稿或模拟开始。用户确认目标与参数后,系统才执行可逆写入;只有重复任务在一段观察期内达到质量和恢复阈值,才允许规则化自动执行。这里的“信任”不是主观好感,而是可审计的任务类型、数据域、风险等级和失败历史。
授权规则应包含 Tool、资源范围、参数约束、次数或预算、到期时间和撤销方式。扩大范围时必须形成新授权,不能从“本次发送一封邮件”推导成“以后可发送所有邮件”。Why Not 一次性全自动:它把早期认知错误放大为批量副作用,也让用户无法通过低风险样本学习系统边界。
展示可行动的进度,不展示伪思维链
用户需要的是可操作的运行模型,而不是模型隐藏推理的逐字转播。进度视图展示目标、已确认约束、当前步骤、下一步、使用的数据源或 Tool、等待对象以及重新规划原因。每项都应对应真实运行状态,不能用循环文案或假进度条掩盖未知时长。
长任务允许用户离开页面,并通过稳定 Run ID 恢复。通知说明“需要审批”“已失败”“已交付”,而不是只说“任务有更新”。阻塞项给出责任主体与可执行选项,例如补充输入、修改计划、跳过非关键步骤或结束并保留已完成产物。
让不确定性与证据一起呈现
一个孤立置信分数很难帮助决策。界面应区分可引用事实、基于事实的推断和带价值取向的建议,并就近展示来源、抓取时间、覆盖范围与冲突。低置信的正确动作可能是澄清、并列候选或暂不行动,而不是把语气改得含糊。
证据质量与结论重要性匹配:低风险摘要可以给来源链接,高风险付款或权限变更还要给业务对象、参数、策略判断和执行后验证。拟人化名字、声音和流畅措辞会增加能力归因,却不能增加事实可靠性;界面用角色和状态词说明系统行为,不暗示意识、意图或责任主体发生转移。
纠错成本决定用户是否敢用
纠错入口应靠近错误所在层:改意图后重新规划,改参数后重新校验,只重做失败步骤而不是重跑整个任务。产物编辑用 Diff 或 Patch 展示影响;运行失败保留已完成 Artifact、外部回执和未决步骤。重试必须基于后端检查点与幂等语义,不能假定“再来一次”无副作用。
用户纠正是本次 Run 的高价值输入,但不应自动成为跨用户或全局记忆。系统先显示将保存什么、用于何处、保留多久,并允许拒绝或删除。若纠正与已有规则冲突,应升级为待审查事实,而不是静默覆盖。
用户随时能暂停、取消和接管
暂停阻止新步骤并保留可恢复状态;取消请求终止运行;接管把下一动作交还用户。三者不能共用一个“停止”按钮。界面还要说明正在执行的外部动作能否中断、已完成副作用是否需要补偿,以及停止确认来自浏览器还是服务端。
审批只授权所见动作与参数。紧急停止应撤销后续调度、使待审批项过期并留下审计记录,但无法倒转已经发送的邮件或已扣款交易。系统在停止后呈现事实终态、未确认终态与恢复选项,避免用户因“已取消”误以为所有外部效果消失。
用行为而非满意度单独判断信任
满意度混合了速度、语气和结果偏好,不能单独证明信任正确。测试应让参与者在不同风险和证据质量下预测 Agent 下一步、选择是否复核、发现错误并恢复。观察预测准确率、高风险复核率、误批、纠错时长、撤销成功率、无谓中断和任务放弃。
采用实验要同时防两种失败:用户总不敢授权,说明能力与恢复路径不可理解;用户从不复核高风险结果,说明界面诱发过度依赖。以任务风险分层分析,不把“更少审批”自动视为优化。交付证据应包含关键旅程、风险清单、测试脚本、事件定义与阈值,而不是一张满意度均值图。
主动提取:为什么“用户更信任 Agent”不是合格目标?
约束变化:一个低风险读取 Tool 连续稳定后,何时仍不该自动执行?
资料与事实边界
以下以官方文档、标准、论文和原始工程资料为主。厂商 API、价格、限额与模型能力会变化,落地时仍需按目标版本做能力探测和回归。
- Microsoft Research:Guidelines for Human-AI Interaction — 能力披露、纠错、反馈和服务变化的 18 条人机交互指南
- NIST AI Risk Management Framework 1.0 — 可信特征、风险测量与治理事实边界
- Google PAIR Guidebook — AI 心智模型、解释、反馈与错误处理的设计研究