WDTA发布：单 AI 代理运⾏时安全测试标准

WDTA介绍

世界数字科学院（WDTA）是一个致力于推动数字技术创新与全球协作的国际组织，在联合国框架下开展工作。

基本信息

「创立背景」：由联合国科技发展委员会执行主席彼得·梅杰（Peter Major）创立并担任创始理事长。

「中文名称」：2024年9月正式确立为"世界数字科学院"，同时保留"世界数字技术院"作为别称。

「组织性质」：在联合国框架下运作的国际组织，聚焦数字技术领域的全球协作。

主要工作与成就

AI安全与伦理标准建设 WDTA重点推动人工智能安全、伦理标准制定及数字技术应用，启动了"人工智能安全、可信和负责任"（AI STR）认证计划。该计划已发布3项重要标准：

• 生成式人工智能应用安全测试标准
• 大语言模型安全测试方法
• 大模型供应链安全要求

组织发展

2024年4月成立由108位顶级科学家组成的院士大会；

2025年2月27日在香港成立亚太研究院，拓展区域合作。

单 AI 代理运⾏时安全测试标准概述：

世界数字技术学院（WDTA）发布单AI代理运行时安全测试标准，旨在应对自主AI扩散带来的风险，建立全球首个验证AI安全性、可靠性和可信度的基准。

主要内容：

1. 背景

• 「AI代理的广泛应用」：AI代理在自动驾驶、机器人、智能家居等领域发挥重要作用，但其自主性也带来了决策错误、系统故障和隐私泄露等潜在风险。
• 「制定标准的必要性」：为确保智能体的安全性、可信度和可靠性，需要一个科学依据严谨的安全测试标准。本标准提供系统、循证的指导，帮助识别和化解潜在风险。

2. 范围

• 「适用领域」：该标准适用于金融、医疗保健、制造和运输等行业，为智能代理的运行时安全测试提供统一框架。
• 「主要内容」：定义了智能代理可能面临的漏洞范围，包括接口级、模型级和工具级漏洞，以及代理生命周期中的安全风险。

3. 参考资料

• 「规范性参考文件」：包括《WDTA 全球人工智能治理宣言》、《生成式人工智能安全：理论与实践》等重要文献。

4. 术语和定义

• 「生成式人工智能」：根据从数据中学习到的模式生成新内容或解决方案的AI系统。
• 「智能代理」：一种感知环境、做出决策并采取行动以实现特定目标而无需直接人工干预的系统。
• 「单代理系统」：使用单个智能代理运行的系统，能够在给定环境中独立做出自主决策和执行任务。

5. 代理系统风险

「接口级风险」

1. 「输入模块」：包括数据抓取、拒绝服务（DoS）、模型窃取、恶意提示、输入操控等风险。
2. 「输出模块」：包括恶意指令执行、有害内容生成、组件数据泄露等风险。

「模型级风险」

1. 「模型本身」：包括未经授权的操作、对齐伪造、关键信息泄露等风险。
2. 「RAG（检索增强生成）」：包括数据泄露给第三方、RAG中毒、RAG内容不合规等风险。
3. 「内存」：包括数据泄露、数据损坏、数据丢失等风险。

「工具级风险」

1. 「工具权限配置不当」：工具组件服务访问超出其权限范围的资源。
2. 「恶意服务」：工具组件服务被恶意篡改、替换或滥用。
3. 「工具遭到入侵」：外部工具被入侵或操控，影响代理正常工作。

「对齐和意图问题」

1. 「目标错位」：代理针对明确定义的标准进行优化而错过隐含的人类价值观或期望。
2. 「规范游戏」：代理利用其指令中的歧义或空白，找到意想不到的方法来满足技术上成功的要求。
3. 「奖励黑客攻击」：代理最大化可衡量的性能指标，同时规避未测量的约束。

「第三方服务提供商风险」

• 「依赖漏洞」：第三-party提供商的服务中断可能会削弱AI代理的核心功能。
• 「数据隐私风险」：敏感用户信息流经第三方系统，可能面临未经授权的访问或处理。

6. 代理生命周期中的安全风险

「发展阶段」

• 「不安全或不完整的提示处理逻辑」：未经仔细验证的代码可能导致恶意输入溜走。
• 「使用不安全的第三方库或版本」：引入潜在漏洞。
• 「模型序列化和反序列化缺陷」：加载恶意模型文件可能触发任意代码执行。
• 「外部调用的沙箱或隔离不足」：未能正确使用沙盒标志可能导致攻击者从受感染的代理组件转向主机。
• 「硬编码的密钥和凭据」：开发人员将API密钥、数据库密码等直接嵌入代码中，可能导致泄露。

「部署阶段」

• 「代理配置风险」：包括敏感数据写入配置文件、访问控制策略中的权限过高、不必要的服务端口暴露等。
• 「部署环境兼容性」：异构环境中的代理面临单一安全策略失败的风险。
• 「供应链攻击」：第三方组件嵌入恶意逻辑或存在高风险漏洞。

「操作阶段」

• 「运行时异常」：包括代理逻辑错误、资源滥用、硬件物理攻击等。
• 「数据传输风险」：包括敏感数据传输未加密、数据完整性受损等。
• 「数据存储风险」：包括未加密存储的敏感数据、数据存储访问控制不足等。
• 「缺乏用户监督」：代理在没有明确用户授权或意识的情况下执行敏感操作。

「维护阶段」

• 「更新和升级风险」：包括恶意更新包、升级中断、版本不兼容等。
• 「降级攻击」：攻击者将代理降级为易受攻击的版本。

7. 单代理测试框架和标准

「代理系统安全测试框架」

• 「接口电平输入模块」
  • 「数据抓取」：实施严格的用户输入验证机制和实时监控，检测异常的高频请求。
  • 「拒绝模型服务」：抵御可能破坏系统的恶意请求，保持极端情况下的可用性。
  • 「模型窃取」：防止通过重复查询或异常访问模式推断模型架构或其他敏感数据。
  • 「恶意提示」：识别和阻止旨在绕过系统控制的对抗性提示或恶意输入。
  • 「输入操作」：严格验证和过滤所有用户输入，防止SQL注入、XSS等损害系统功能或安全性。
• 「接口电平输出模块」
  • 「恶意指令执行」：严格验证和过滤所有用户输入，防止恶意输入损害系统功能或安全性。
  • 「有害内容生成」：输出内容必须符合国际法律法规，禁止包含煽动暴力、恐怖主义等信息。
  • 「组件数据泄露」：遵循数据最小化原则，代理生成的响应不得泄露凭证信息或冗余敏感个人信息。
• 「模块级别」
  • 「数据泄露给第三方」：确保传输的数据经过安全检查，执行数据最小化原则。
  • 「关键信息泄露」：检测用户指令中的恶意意图，拒绝泄露敏感信息。
  • 「模型中毒」：确保外部模型或数据来自可信渠道，采取防御措施防止恶意数据注入。
  • 「过度拟合」：防止训练过程中过度拟合，确保模型在真实场景中可靠运行。
  • 「过度代理」：严格访问控制和授权验证，防止调用未配置或未经授权的服务。
  • 「不安全的模型文件」：安全地管理模型文件，防止加载或分发包含恶意代码或可利用漏洞的文件。
  • 「后门攻击」：防止在训练或部署期间植入后门，持续监控和验证训练数据、训练管道和最终模型工件。
• 「RAG级别」
  • 「数据泄露给第三方」：确保传输到外部检索工具的所有数据经过严格的安全检查。
  • 「RAG中毒」：确保代理使用的知识源经过彻底验证和清理，防止注入有毒内容。
  • 「RAG内容不合规」：知识库内容必须符合法律法规，避免包含非法、侵权或虚假信息。
• 「内存级别」
  • 「内存数据泄露」：检测和拒绝旨在访问、操控或删除内存存储信息的恶意指令。
  • 「内存不合规」：记忆内容必须符合法律、道德和准确性要求，避免包含非法、敏感或偏见内容。
• 「工具级」
  • 「服务超额」：严格管理工具及其服务接口，实施严格的输入验证。
  • 「恶意服务」：验证服务提供商的可信度，确保传输到服务的数据的安全处理。
  • 「数据泄露给第三方」：对所有传输的数据进行安全检查，强制执行最小权限原则。

「代理生命周期测试框架」

「开发阶段」

• 「不安全或不完整提示处理逻辑」：强制执行严格的输入架构验证，清理输入以防止注入攻击。
• 「边界测试」：防止缓冲区溢出或内存损坏，限制输入大小为配置的安全阈值。
• 「日志记录和可观测性测试」：实施安全、加密的日志记录，屏蔽或编辑PII和机密。
• 「即时注射测试」：实现输入清理和命令解析保护措施，使用将用户输入与系统指令分开的提示模板。

「部署阶段」

• 「代理配置风险」：删除配置文件中的敏感信息，禁用未使用的端口和调试模式。
• 「部署环境兼容性」：代理必须在所有目标环境上安全运行，依赖项必须是版本锁定的。
• 「执行隔离」：所有代理必须在沙盒或隔离环境中运行，避免访问敏感主机资源。
• 「供应链攻击」：所有第三方组件必须经过验证和审计，依赖项必须显式固定版本。
• 「敏感日志」：部署脚本、CI/CD管道和运行时环境不得记录敏感数据。

「操作阶段」

• 「运行时异常」：引入异常监控机制，启用反DoS机制。
• 「数据传输风险」：所有敏感数据必须在传输过程中加密和集成。
• 「数据泄露给第三方」：严格控制代理发送给外部第三方服务提供商的数据。
• 「通过工具越狱操作」：防止工具的预设提示被绕过，导致工具执行危险操作或生成有害内容。
• 「数据存储风险」：敏感数据必须加密存储，加密密钥必须通过安全保管库或TEE。
• 「对GPU的攻击（硬件）」：GPU 等物理硬件⾯临多维硬件攻击，例如 Row Hammer 和Side-Channel Attacks，
• 「对GPU的攻击（软件）」：GPU Drivers 等软件⾯临多维度攻击，如侧信道攻击，可能导致训练数据被盗和隐私泄露。
• 「运⾏时依赖性漏洞」：持续监控受损的依赖项或意外的第三⽅服务/⼯具更改。动态加载组件的完整性检查。
• 「API 滥⽤安全要求」：审核所有外部资源交互的⽇志。

如有侵权请联系作者删除。