从《智能体新规》看AI智能体的风险防范与合规治理（下）

前 言

在上篇中，我们主要围绕AI智能体的技术特征和风险类型，分析了其在目标控制、权限调用、数据处理、工具使用、供应链管理及责任追溯等方面可能引发的安全与合规问题，并对境内外监管机构、行业组织发布的相关规范、指引及实践动向进行了梳理。

在此基础上，企业更需要进一步关注的是，如何将监管要求和风险识别结果转化为可执行的内部治理机制。

本篇将结合我们团队在AI Agent平台合规评估、AI Agent法律协议编写、内部治理制度搭建、大模型备案与算法备案等项目中的实践经验，进一步提出企业AI智能体治理框架搭建方案，并围绕当前技术发展和监管现状，为企业提供更具可操作性的实务建议。

一、AI智能体治理体系搭建

为应对AI智能体潜在风险与全球日益趋严的监管态势，为帮助企业更好地推进AI智能体应用，我们尝试从以下组织与治理架构着手，为企业提供AI智能体安全合规治理体系参考范本。

（一）治理组织与资产清单

企业首先应建立AI智能体治理责任机制，即有组织、有制度。对于已经规模化使用或计划将智能体接入核心业务流程的企业，智能体治理不宜仅由技术团队单独负责，而应纳入公司层面的数据合规或网络安全体系中或建立专门的AI治理组织。组织由董事会或高管层、算法/AI团队、法务部门、信息安全、业务部门等组成。其中，董事会或高管层应明确企业使用AI智能体的风险偏好、禁止场景和高风险场景，其余职能部门应共同参与制定AI管理规范、审批监控流程、应急预案等。

除组织制度外，企业还应建立统一的智能体资产清单，以管理、规范内部智能体应用。该清单应覆盖企业自研智能体、采购的三方智能体、嵌入业务系统的智能体、员工自行配置的低代码或无代码智能体等，并记录清楚智能体名称、业务目的、使用部门、负责人、模型来源、供应商、工具列表、数据访问范围、系统访问范围、部署环境、面向对象、风险等级、上线状态等。只有先掌握企业内部有哪些智能体、分别连接了哪些数据和系统，后续分类分级、权限控制、日志审计和事件响应才具有基础。

（二）用例准入与分类分级

基于前期摸排的智能体资产清单，为有针对性地开展治理工作，企业应根据智能体功能敏感程度、适用的法律法规以及上述评估要素，制定智能体分类分级标准。例如，将智能体分为4级，L1可定义为低风险只读辅助型智能体，主要用于内部文档摘要、知识检索和文本润色等；L2可定义为受限写入或内部流程辅助型智能体，例如草拟工单、生成邮件初稿或辅助内部报表，但最终提交仍需人工完成；L3可定义为可调用多个内部系统或处理敏感数据的智能体，例如客户服务智能体处理用户个人信息、售后记录或订单数据；L4则可定义为可产生重大法律、财务、安全或消费者权益影响的智能体，例如自动付款、合同承诺、诊疗建议、授信决策、生产系统变更或外部交易执行。对于L3和L4智能体，企业应设置更高的审批门槛、上线测试要求和持续监控要求。

企业在智能体上线前可基于分类分级标准以及内部评估规则开展用例准入评估，避免业务部门在未评估风险的情况下直接将智能体接入生产环境。用例准入评估应至少覆盖：

• 是否访问数据库，访问的范围如何，是否涉及处理个人信息、商业秘密或其他敏感数据；
• 是否访问外部系统，是否与第三方系统进行交互，暴露面有哪些；
• 是否具备写入、交易、决策等能力、行动结果是否可逆；
• 面向的对象类型，例如是否面向公众、员工等；
• 业务领域容错度，例如是否涉及金融、医疗、招聘、授信、合同谈判、关键基础设施运维、生产系统代码修改等高风险领域。

（三）安全评估与红队测试

除了准入评估以外，建议在智能体上线前开展安全评估或专项的AI红队测试，其测试范围应覆盖任务完成准确性、政策遵循、工具调用正确性、越权尝试、提示注入、敏感数据泄露、异常恢复、可回滚性、日志完整性、多智能体级联错误和高负载稳定性等方面。

对于高风险场景，企业应进一步开展AI红队测试。典型测试包括：网页或文档中嵌入恶意指令是否会诱导智能体泄露数据；第三方工具返回内容是否会改变系统指令；智能体是否会调用未授权工具；智能体是否会将内部数据发送至外部API；智能体在任务失败后是否会重复执行并造成系统拥堵；智能体是否会在目标设定不清时通过“规范博弈”绕过限制以完成任务等。测试结果应形成问题清单、整改方案和复测记录，未完成整改的高风险智能体原则上不应上线。

（四）身份授权与权限管控

智能体应像员工、服务账号或API客户端一样被纳入企业身份与访问管理体系。企业应为每个智能体分配唯一身份标识，记录其代表的用户、部门或业务流程，并禁止多个智能体共用高权限账号。授权应遵循最小权限、任务限定、时间限定和上下文限定原则，即智能体只能在完成特定任务所必需的范围内访问数据、调用工具和操作系统。

此外，企业尤其需要避免“权限继承失控”。如果员工只能访问某一类客户数据，其委托的智能体不应因技术配置而获得更高权限；如果主智能体调用子智能体或外部工具，子智能体和外部工具也不应默认继承主智能体的全部权限。对于付款、删除数据、批量导出、外部发送、权限变更等高影响操作，企业应设置多因素认证、二次授权或强制人工执行等机制。对于动态授权场景，企业应记录授权人、授权范围、授权原因、授权时间、有效期限和撤销机制。

（五）数据保护

企业应对智能体处理的数据情况进行系统性梳理，识别用户输入、记忆模块、运行日志、第三方传输等数据处理场景。涉及处理个人信息、敏感个人信息或其他受监管的数据类型，应依据适用的法律法规开展数据合规评审、个人信息保护影响评估或跨境传输影响评估等工作。企业应明确哪些数据可以进入模型上下文，哪些数据可以写入长期记忆，哪些数据可以发送给第三方工具，哪些数据必须进行脱敏、加密、隔离或禁止处理。

特别是，面向用户或消费者的智能体，企业应清晰披露其AI身份、主要功能、能力限制、数据访问范围、人工介入方式和投诉渠道等信息。对员工内部使用场景，企业也应通过制度和培训说明不得输入哪些敏感信息、何时必须人工复核、如何标记涉密材料、如何报告异常行为，以及是否允许将内部资料输入外部智能体。对于日志和记忆功能，企业还应设置留存期限、访问权限、删除机制和审计规则，避免智能体在长期运行中形成不可控的数据沉淀。

（六）工具与协议安全

工具调用是智能体风险的核心来源。企业应建立工具白名单制度，明确每个工具的输入输出、调用权限、速率限制、错误处理、敏感数据过滤和日志要求。对MCP服务器、浏览器插件、第三方API、代码执行环境和RPA工具等，应开展安全评估和供应商审查。

企业应禁止智能体在未审查情况下安装插件或连接未知服务器，禁止将内部敏感数据直接发送至未经评估的外部工具。

（七）人类监督

企业在设置AI Agent工作流时，应根据不同等级的风险场景设置对应的人类介入机制（human-in-the-loop）。例如，对于低风险场景可采用事后抽查；中风险场景应采用关键节点确认；高风险或不可逆场景应采用事前审批、双人复核或人工执行。此外，企业还应定期审计人工审批是否有效，避免员工因自动化偏见而机械地点击确认。

（八）供应链安全

企业应将智能体供应链纳入采购准入、信息安全和数据合规审查流程中，对供应商的数据处理方式、安全能力、模型更新机制、日志留存、服务可用性、审计配合等进行准入审查。

在合同层面，企业应明确供应商在模型、插件、工具、日志、漏洞响应、数据处理、知识产权、侵权投诉、服务中断和安全事件通知方面的责任。对于涉及处理个人信息、商业秘密或受监管数据的供应商，企业应要求其提供必要的安全能力证明、签署数据处理协议，并在合同中增设AI合规与安全保护专门条款。

（九）持续监测

企业应建立部署后的持续监控机制，对智能体行为进行动态评估。监测指标可以包括异常工具调用次数、外部数据发送量、失败重试次数、越权请求、人工拒绝率、用户投诉、幻觉导致的纠错次数、系统资源消耗、高风险操作频率、敏感数据命中率和供应商服务异常情况。对于资源异常消耗场景，企业也应与供应商明确计费、限额、告警与止损机制，避免因异常调用而产生高额的成本或服务损失。

（十）事件响应

企业应为AI智能体建立专门的事件响应机制。智能体事件可能包括数据泄露、越权操作、错误交易、误发邮件、生产系统破坏、消费者误导、供应商工具被攻陷、提示注入成功、多智能体级联故障、错误建议导致重大权益受损，以及智能体重复执行任务造成系统资源拥堵等情形。前述事件对应的处置方式与传统网络安全应急有所不同。因此，建议企业可参考《网络安全标准实践指南——生成式人工智能服务安全应急响应指南》制定专门的AI应急响应制度。

综上，企业如需搭建AI智能体治理体系，应以跨部门治理组织和资产清单为基础，以用例准入、分类分级作为需求阶段的控制，以身份授权、数据保护、安全测试、工具安全、人类监督和供应链管理作为开发测试阶段的控制，并以持续监控和事件响应作为上线运营后的持续控制。

二、企业实务应对建议

正如上文所说，体系搭建对应的落地工作是制度、表单、流程与内部控制措施等工作的落实。现阶段，对于多数企业而言，AI智能体治理不必一开始就追求“大而全”的制度工程。更务实的路径，是先从高风险场景和可交付成果入手，逐步搭建治理体系。

• 第一，企业可以先开展AI Agent应用梳理和合规评估，识别现有或拟上线智能体是否涉及处理个人信息、外部系统调用、自动化决策或参与关键业务流程，是否存在重大安全、合规与业务风险。
• 第二，对于面向消费者或外部客户的AI Agent应用，企业应完善《AI Agent服务协议》或相关服务规则，说明智能体身份、功能范围、行动边界、数据处理方式、用户授权、人工介入、投诉反馈和责任安排。
• 第三，对于AI Agent研发、采购和第三方供应链合作，企业应制定采购准入规范，并在采购/合作协议中增加AI合规与安全保护专门条款，覆盖功能可用性、数据处理、记忆留存、工具调用、资源损耗、漏洞响应、服务中断、知识产权和安全事件通知等内容。
• 第四，对于已经接入业务流程的AI Agent，企业应评估是否需要设置人工核验机制，并相应调整工作流、用户交互界面、内部审批流程和日志留存规则。
• 第五，对于涉及生成式人工智能服务或算法推荐等场景的企业，还应结合业务模式进一步评估大模型备案、算法备案、个人信息保护影响评估、数据出境评估等相关合规要求的适用性，并进一步开展对应合规工作。

实践中，我们团队已协助多家企业开展AI Agent平台合规评估、AI合作协议专门条款制定、AI Agent服务协议编写、内部治理制度搭建、大模型备案与算法备案等相关工作。后续，我们也将结合相关项目经验，持续为企业在智能体应用落地和合规治理方面提供体系化支持。

三、结语

AI智能体治理已不只是未来监管议题，而是企业当前开展AI智能体应用需同步考量的合规基建工作。《智能体新规》的出台，意味着智能体的自主行动、工具调用、数据访问和责任归属等风险正在被看见。对于企业而言，接下来应尽早开展覆盖合规评估、协议条款、内部制度、数据安全、权限控制和备案要求等工作，使AI智能体真正做到可控、可信、可审计。

The content of this article is intended to provide a general guide to the subject matter. Specialist advice should be sought about your specific circumstances.