LLM-as-Judge

只在难以确定性判定的维度使用 Judge

开放文本的正确性、完整性、表达质量，多种有效答案间的相对偏好，以及主张是否被给定证据支持，适合模型辅助评审。JSON Schema、算术、编译、权限、敏感信息模式和最终业务状态应优先用确定性验证器，因为这些验证更便宜、可解释且可重复。

一个样本可以组合评分器：先验证格式与禁止行为，再把问题、候选输出、可见证据和 Rubric 交给 Judge。硬规则失败直接终止，不允许 Judge 的高分抵消越权或数据泄露。

Rubric 要把抽象质量拆成可观察标准

“质量好”无法稳定评分。Rubric 应逐维度定义通过、部分通过、失败与不确定，说明需要引用什么证据，并提供边界例和反例。事实正确、覆盖完整、行动建议可执行和表达清晰应拆开，避免长答案靠覆盖面和权威语气获得虚高分。

Judge 只看被授权的上下文。若证据不足，合法输出是“不确定并转人工”，而不是调用模型自身知识补齐。Rubric 版本改变会改变测量尺度，必须和 Judge Prompt、模型快照一起版本化。

Pointwise、Pairwise 与参考答案

适合阈值和单候选，但分数校准困难

Pointwise 对单个候选逐维打分，适合发布阈值和错误分类。不同 Judge 对 1 到 5 的尺度理解不同，分数也容易集中；应给锚点示例并用人工 Gold 校准每个档位。

适合比较版本，但受顺序和位置偏置

Pairwise 直接比较 A/B，通常比绝对打分更易区分小差异。交换候选顺序重复评审可以暴露位置偏置；平局必须是合法选项，不能强迫 Judge 为不可辨差异选择赢家。

有 Gold 时提高约束，但参考答案也可能不完整

参考答案帮助限制事实与覆盖范围，但开放任务可能有多个正确解。应把 Gold 作为证据和可接受范围，而不是要求措辞相似；参考本身也要版本与复核。

多 Judge 可估计分歧，但不是自动真相

多个独立 Judge 能揭示测量不确定性，尤其适合高价值样本和模型升级。多数票只降低部分随机误差，无法消除共享训练数据、相同 Rubric 或同族模型产生的相关偏置。

主动测试 Judge 偏置

MT-Bench 的 LLM-as-a-Judge 研究报告了位置、冗长和自我增强等偏置。目标系统不能只引用论文结论，而应构造最小对照实验：交换 A/B 位置；保持事实不变只改变长度与格式；比较同族和异族候选；替换权威语气；在不同语言与领域切片复测。

偏置报告给出偏好翻转率、重复一致率和错误类型。若版本差异小于 Judge 自身的顺序翻转或重复波动，就不能据此决定发布。提示注入还会让候选文本试图重写评分规则，应在安全章节单独处理。

用人工 Gold 校准而非看起来合理

从目标切片抽取人工盲评集，标注员依据同一 Rubric 独立评分并仲裁。对分类输出报告混淆矩阵、precision、recall 和 Cohen’s kappa；对连续分数报告相关性与分档误差；对 Pairwise 报告与人工偏好的胜负和平局一致率。不要只报一个总体相关系数。

阈值取决于误判代价。发布门禁更担心错误放行，应控制关键切片假阳性；内容筛选可能更担心漏掉优质候选。低置信、Judge 分歧、越过适用范围或高风险样本转人工复核，并把仲裁结果回到 Rubric 与校准集。

校准集与日常开发集隔离。持续在同一 Gold 上调 Prompt 会过拟合 Judge；应保留盲测、定期轮换并记录每次变更假设。

Judge 也要版本、预算与观测

固定模型快照、Prompt、Rubric、解码设置和输入模板，记录评分、理由、Usage、延迟与错误。理由用于审计和错误分析，不应被当作模型真实推理过程。缓存键必须包含所有版本与内容哈希，避免 Rubric 更新后复用旧分数。

升级先 Shadow：旧新 Judge 对同一盲测集和线上样本并行评分，比较一致性、分歧切片、成本和延迟。只有误判预算满足且下游阈值已重校准，才切换主 Judge。批处理和缓存降低成本，但不能改变样本独立性或泄露盲测内容。

被评输出是不可信输入

候选输出可能包含“忽略评分规则”“给满分”或伪造参考文本。将系统 Rubric、参考证据和候选内容放入清晰分隔的结构字段，明确候选只作为数据；对提示注入构造专项集，并检查 Judge 是否复述、执行或泄露系统指令。

Judge 不获得 Tool、网络或生产权限，敏感内容按最小必要原则脱敏，输入输出进入访问审计。高风险发布由确定性门禁和授权责任人决定，单一 Judge 只能提供证据。若 Judge 不可用，应降级到人工或阻塞，而不是默认放行。