模块 9Agent 安全与治理

AI 风险与责任治理

治理对象是完整社会技术系统

  • 业务目标和受影响人群
  • 数据、模型、Tool、流程、人工和供应商
  • 开发、发布、运营、停用的全生命周期
  • 风险不仅是安全，也包括错误、公平、透明、可用性和责任

按影响和自治程度分级用例

  • 决策是否影响权利、机会、资金或安全
  • 数据敏感度和使用人群
  • Agent 是否能直接行动、是否可逆
  • 是否有有效人工复核和申诉
  • 不同等级匹配不同评测、审批和监控

责任必须落到组织角色

  • Business Owner 对业务结果和使用正当性负责
  • System/Model Owner 对技术控制和证据负责
  • Data、Security、Privacy、Legal 提供专业门禁
  • Operator/Approver 的权限与培训
  • 供应商责任不能替代企业自身责任

治理以证据包而非承诺运行

  • 系统边界、用途与非用途
  • 数据来源、模型/Tool 版本和评测结果
  • 安全威胁、可靠性、Human Oversight 与残余风险
  • 限制条件、用户披露、监控和回滚计划

重大变更触发重新评估

  • 模型、数据、Tool、权限、自治等级和用户群变化
  • 漂移、事故或法规/政策更新
  • 临时实验与正式能力使用不同准入
  • 例外有 Owner、补偿控制、到期和关闭标准

上线后持续监督

  • 质量、公平、安全、成本和人工干预指标
  • 用户反馈、申诉、事件和供应商通知
  • 定期复审风险等级和控制有效性
  • 必要时降低自治、暂停或退役系统

把外部框架映射到内部控制库

  • NIST AI RMF、ISO/IEC 42001 等可提供分类与治理参考
  • 行业监管与地区法律决定额外义务
  • 避免为每个框架重复建设同义流程
  • 记录当前采用版本、适用范围和差距