模型定制与部署决策

先确认问题是否真的需要改变模型

相同的“回答不对”可能来自完全不同的层。指令冲突属于 Prompt，事实缺失属于 Context/RAG，工具参数错误属于 Tool Contract，业务状态错乱属于 Runtime；只有在这些条件被控制后，模型仍对稳定任务表现出可重复的行为差距，才有理由讨论训练。延迟、数据不出域、供应保障等硬约束则可能要求改变部署形态，而非改变权重。

归因报告至少保存输入、Prompt 摘要、模型快照、Context、Tool 结果、中间状态、评测器和错误标签。没有这条证据链，“换模型后看起来更好”既不能说明根因，也无法预测上线收益。

区分四类能力投资

系统层优化

Prompt、RAG、Tool、Workflow 和路由通常最容易实验、回退和跨模型复用，应由反馈与质量飞轮持续治理。它们不能解决模型完全缺失的能力，却常能把事实、计算、权限和状态放回正确责任主体。

托管定制

托管微调或厂商定制减少训练和服务基础设施负担，但可用模型、区域、数据政策、训练接口和废弃周期由服务方决定。任何方案都应以目标日期的官方能力矩阵为准，并在 Adapter 和 Registry 中记录依赖，不能把某一时点的厂商功能写成长期架构前提。

蒸馏与合成数据

强模型可以生成候选标签或示例，小模型可以学习目标分布上的行为，但 Teacher 输出不是天然真值。规则、可执行测试、人工标注或独立 Judge 要过滤错误；Teacher、Prompt、采样、过滤规则和数据血缘必须可追踪。平均成本下降可能伴随长尾、Tool 泛化和安全边界退化。

开源模型自托管

自托管获得更多数据、模型和推理控制，也把容量、硬件适配、发布、漏洞、观测、值班和退役变成自己的责任。若组织没有稳定负载、模型服务人才和 24×7 Owner，GPU 单价优势通常不足以证明 TCO 更低。

没有数据契约就不进入训练

数据门先定义目标行为和输入分布，再规定来源许可、隐私、去重、冲突处理、质量等级和保存期限。训练样本要覆盖成功、拒绝、澄清、安全边界与长尾，而不是只收集理想答案。线上日志含有用户数据、旧系统错误和选择偏差，不能直接当作监督信号。

训练、验证和 Holdout 应按用户、任务、时间或来源隔离，避免近重复泄漏。若标签者对“正确答案”持续分歧，先修任务契约和标注指南；扩大样本只会放大不一致。数据卡记录适用人群、覆盖盲区、许可、敏感字段和已知偏差。

收益必须在独立评测和安全回归上成立

定制模型与通用模型、系统层优化基线在同一任务集、工具、上下文和输出契约下比较。先看目标错误类型是否下降，再看高风险切片、拒答、引用、Tool 参数、隐私记忆和越权遵循是否退化。训练损失下降不能代替业务任务成功。

报告多次运行方差、置信范围、人工分歧和未覆盖场景。若收益仅来自少数高频简单样本，却让关键长尾恶化，应回滚或限制适用范围。上线阈值同时包含质量、延迟、成本、安全和可运营性，不能用平均分抵消安全回归。

部署选择从硬约束和服务目标开始

先列数据地域、许可证、模型用途、供应链、TTFT、P95、吞吐、上下文、批处理和可用性，再比较共享 API、专有容量、托管定制与自托管。峰值容量、跨区灾备、冷启动和模型载入会改变真实服务形态，离线吞吐不能直接推导交互 SLO。

混合方案经常更合理：敏感或稳定高吞吐任务在受控环境运行，长尾复杂任务调用托管强模型，Gateway 执行策略和审计。但混合不是免费冗余，它增加协议兼容、数据流向、故障语义和双栈运营成本。

TCO 不能只比较 Token 与 GPU 单价

三年 TCO 至少包含数据治理、训练实验、评测标注、推理基础设施、空闲容量、网络存储、平台工程、观测、值班、升级、漏洞响应、合规审计和迁移退役。成本按成功任务计算，并对负载增长、价格变化和质量返工做区间分析。

单位成功成本 =
  (推理 + 重试 + Tool + 平台摊销 + 人工复核 + 运营风险)
  / 通过业务验收的任务数

如果某方案只有在长期满载、极低故障或忽略人员成本时才便宜，应把这些写成假设并给出推翻条件，而不是包装成确定节省。

定制模型需要独立生命周期治理

Registry 保存模型卡、数据卡、基础模型、训练配置、评测结果、许可、用途限制和 Owner。发布采用 Shadow、Canary、护栏指标与兼容组合；回滚不只切模型，还要恢复匹配的 Prompt、Schema、Adapter 和策略版本。

基础模型、许可、数据政策或依赖库变化要触发影响评估。业务 Owner 对使用正当性和结果负责，模型/平台 Owner 对服务与发布负责，数据和安全角色拥有各自门禁。RACI 的目标是避免事故时出现“模型自己决定的”责任空洞。

先设计退出，再批准不可逆投入

可移植资产包括评测集、Prompt、Schema、Adapter、事件 Fixtures、数据血缘和决策记录。ADR 要列出专有特性、替代方案、迁移窗口、回到通用 API 的最低能力与费用。退出设计不是承诺迁移，而是避免未来没有选择。

定期用采用率、目标错误改善、单位成功成本、故障与组织负担决定继续、收缩或退役。退役时撤销端点与权限，处理权重和训练数据副本，迁移调用方，验证无残留流量并保留合规记录。