Golden Dataset

Golden 不等于“大家觉得不错的十个问题”

每个样本应对应明确任务、成功定义和失败风险。对于“处理退款”任务，Gold 不能只有一段参考回答，还要说明初始订单状态、身份与权限、允许的 Tool、可接受结果、必须保留的证据和禁止副作用。开放任务可以有多条正确路径，但必须有可复核的结果边界。

代表性与风险覆盖同时成立才有用。生产中常见的正常任务用于估计整体表现，高风险低频和历史事故样本用于守住底线。开发示例、Prompt few-shot、训练数据与盲测集必须隔离；否则团队会针对已知答案优化，评测只能测出记忆与适配。

组合多种来源但标记来源偏差

来源字段必须跟随样本进入报告，不能汇总后丢失。合成数据适合扩大已知维度，不适合独自证明代表性；生产数据更真实，却需要许可、去敏和可重放状态。组合的目标是互补盲区，而不是混在一起宣称“覆盖全面”。

样本要携带评测所需上下文

一个可重放样本至少包含输入、初始状态、身份、允许能力、环境版本、期望结果、必要证据、禁止行为、可接受路径约束、切片标签、风险、难度、来源和数据版本。外部状态使用快照或可构造 fixture；只有自然语言输入而没有权限与状态，无法复现 Agent 决策。

type GoldenCase = {
  id: string;
  input: unknown;
  initialStateRef: string;
  actor: { role: string; tenant: string };
  allowedTools: string[];
  expected: { outcomes: unknown[]; requiredEvidence: string[] };
  forbidden: string[];
  slices: string[];
  provenance: { source: string; consent: string; createdAt: string };
  datasetVersion: string;
};

这是教学用 Schema，真实系统还需定义敏感级别、保留期、重放依赖和删除传播。Gold 应存“什么可以被接受”，而不是把某一次模型轨迹冻结成唯一正确路径。

标注先统一规则，再追求规模

先把事实核验、偏好判断和业务政策分开。事实可以依据权威来源；表达偏好需要具体 Rubric；业务判断需要有责任人和生效日期。多解问题写可接受范围、关键证据和反例，不确定样本进入隔离队列，不能为了完成进度强行给 Gold。

抽取一批覆盖关键切片的样本做双人盲标，报告原始一致率与 Cohen’s kappa 等机会校正指标，并查看分歧类型。数值不是终点：若某切片一致性低，应先修订指南、示例和边界，再扩规模。仲裁记录要保留规则为什么改变。

用切片检查覆盖而非只看总量

覆盖矩阵应按任务类型、角色、语言、数据域、上下文长度、轮数、Tool 数量和风险交叉检查，并显式包含正常、边界、对抗、无答案与依赖故障。不是所有组合都要平均填满，但每个关键业务风险都应能映射到样本与验证器。

总样本数无法回答“管理员多轮高风险任务是否退化”。高风险切片应有独立底线，低样本切片报告分母和区间。若新增样本只增加重复表述而不提高区分度，就应停止扩量，转向新失败面或更强判定证据。

Dataset 本身是受治理资产

发布版本不可变，新增、修订、删除都通过下一版本完成，并记录原因、影响切片和可比性。开发集用于快速迭代，回归集用于门禁，盲测集限制访问并定期轮换。分数必须绑定数据集版本、Runner、评分器与系统版本，否则跨时间比较没有意义。

泄漏不仅来自训练，还来自 Prompt 示例、调试日志、评测看板和工程师反复查看失败样本。盲测访问按职责最小化，生产样本记录授权用途、敏感级别、删除权和保留期。删除请求应能传播到原始事件、派生样本、缓存与导出，而不是只隐藏一行索引。

数据集会随业务与系统漂移

新 Tool、政策、模型、Prompt 和用户分布会改变失败面。维护流程从 Trace、人工处置、投诉与事故中提名候选，经去敏、授权、代表性、可重放性和专家 Gold 审查后晋级。临时网络故障、错误操作和无法复现的脏状态不应直接固化成标准。

每个版本监控重复率、标签矛盾、Judge/人工分歧、通过率饱和和切片区分度。过时样本可以退出当前门禁，但应保留历史版本用于解释旧发布。NIST AI RMF强调持续测量、运行环境反馈和风险管理，这意味着 Data Card 需要明确适用范围、限制、Owner 与复审节奏。