反馈数据与质量飞轮

反馈不仅是点赞/点踩

显式反馈通常稀少且有选择偏差。更有信息量的信号包括用户纠正、编辑、撤销、重新提问，Tool 失败与人工接管，审批修改，业务后续状态，运营抽检、事故和投诉。每种信号只说明“发生了什么”，不自动说明 Agent 为什么错。

来源组合要保留分母。例如点踩率需要知道展示次数与可点踩人群，人工接管率要区分主动安全升级和被迫失败。只收集负反馈会过度优化抱怨者，只收集接受率则会遗漏用户无暇检查的错误。

反馈事件必须能关联上下文与结果

事件关联 Run、Step、Artifact、模型/Prompt/Tool/Workflow 版本，记录反馈主体、时间、界面、任务阶段、原始动作与纠正后动作。数据治理字段包含授权用途、敏感级别、保留期、地区和删除关联键。

type FeedbackEvent = {
  eventId: string;
  runId: string;
  stepId?: string;
  artifactId?: string;
  versions: Record<string, string>;
  signal: { type: string; before?: unknown; after?: unknown };
  context: { actorRole: string; taskStage: string; occurredAt: string };
  governance: { allowedUses: string[]; sensitivity: string; deleteKey: string };
};

这是教学用数据契约。正文内容、附件与 Tool 参数应通过受控 Artifact 引用，不要复制到每条事件。Schema 版本与生产者校验用于避免 UI 改版后同名事件改变语义。

行为信号不能直接等同标签

重试可能是网络失败，接受可能只是用户没有检查，编辑可能是风格偏好也可能修正事实，最终业务结果还可能受 Agent 外部因素影响。解释层应建立候选假设，并用 Trace、版本、后续状态和抽样人工审核验证。

先分类失败，再选择改进杠杆

分类到数据/检索、模型/Prompt、Tool、Runtime、UX、政策或业务流程，并记录频率、影响、可检测性、修复成本和置信度。分类不是最后一个报错组件；例如 Tool 参数错可能来自描述、模型决策或审批 UI 未展示关键字段。

优先级应考虑风险而非只按频率排序。低频越权高于高频措辞偏好。同一根因的相似事件可聚类减少重复标注，但聚类只是提议，代表样本仍需人工复核，避免把不同业务边界合并。

从线上样本到 Golden Case 的门槛

晋级前完成去敏与授权、代表性审查、重放状态与 Tool 环境确认，并由领域专家给出期望结果、必要证据和禁止行为。临时服务故障、用户误操作或无法还原的脏状态可以进入运营问题库，但不应直接固化为产品 Gold。

候选样本先进入隔离集，用当前与修复版本重放，确认能区分目标机制且不与既有样本重复。通过后进入下一不可变 Dataset 版本，并记录来源、风险、适用期限和删除传播。

每次改进都形成可验证实验

先建立基线与目标切片，提出可证伪假设，再选择 Prompt、RAG、Tool、Workflow、模型或 UX 杠杆。离线回归证明目标失败下降且全量无关键回退，Shadow/Canary 验证真实分布，线上观察业务净收益、成本和新失败。

改动与指标必须可归因。一次同时换模型、Prompt、索引和 UI，即使成功率上升也无法知道哪个杠杆有效。无法单变量发布时，至少保留消融或分阶段证据，并记录残余不确定性。

质量飞轮同样受数据与组织治理

RACI 至少明确数据 Owner、标注 Owner、模型/工程 Owner、产品与风险审批者。用户选择退出、删除和用途限制必须传播到原始事件、派生样本、缓存、导出和训练候选。NIST AI RMF把反馈、持续测量与风险处置连接起来，但具体用途仍应由组织的数据政策和用户授权决定。

闭环看板既看质量，也看系统是否只优化容易测量的指标：候选积压、标注时延、晋级率、实验完成周期、行动项效果和高风险问题复发率。点赞率提高但投诉、越权或人工负担上升，说明飞轮优化了代理指标。

实践验收选择一个已确认失败，保留原始 Trace 和授权，完成分类、Gold 晋级、单杠杆修复、离线回归与 Canary，并用业务结果证明净收益。没有对照证据时，只能称为改动，不能称为质量改善。