模块 8企业 Agent 平台

AI Gateway

明确 Gateway 做与不做

  • 统一鉴权、协议适配、路由、配额、观测和成本
  • 可执行横切内容/数据政策
  • 不理解每个 Agent 的完整业务状态
  • 不把所有 Provider 特性压成最低公分母

请求路径上的关键阶段

  • 租户身份和模型访问授权
  • Schema/大小/数据分类校验
  • 路由、限流、并发和预算预留
  • Provider 调用、流透传和错误归一化
  • Usage 结算、审计和 Trace 关联

公共契约与特性逃生舱

  • 统一消息、Tool、流事件、Usage 和基础错误
  • 能力探测和模型元数据
  • Reasoning、缓存、内置 Tool 等 Provider Options
  • 适配器契约测试与版本升级

路由同时考虑质量和实时健康

  • 任务/风险/地域/数据政策静态约束
  • 容量、延迟、错误率和预算动态信号
  • 熔断、半开探测和模型级 Fallback
  • 流中断与已执行 Tool 时禁止透明重放

多层配额保护平台与租户

  • 组织、租户、应用、用户和模型维度
  • 请求、Token、并发和费用预算
  • 突发额度、优先级和关键任务预留
  • 背压和拒绝提供可行动的重试信息

缓存只有在语义与隐私允许时使用

  • Prompt 前缀缓存和 Provider 缓存
  • 语义结果缓存的高风险与失效条件
  • 租户、身份、模型、Prompt 和 Tool 版本进入 Key
  • 敏感数据、时效任务和随机创作的禁用规则

Gateway 是成本与访问证据源

  • 输入/输出/缓存 Token 和调用费用归因
  • 按组织、租户、应用和业务场景提供 Showback/Chargeback
  • 预算告警与异常调用检测
  • 内容日志最小化和敏感脱敏
  • 政策版本、路由理由和 Provider 回执可审计