AI常见攻击手段与安全防护思路

AI的发展的这三年里始终伴随着机遇与挑战，其中以大模型为核心的安全问题更为尤为突出。攻击主体越来越平民化，以往需要有专业黑客才能完成的攻击行为，现在普通人通过自然语言提示即可让大模型自动生成攻击代码并实施专业攻击。与此同时，在RAG知识库模式下，普通人也可仅凭简单的提示词引导，诱导模型泄露企业的核心业务数据与内部知识。因此，AI快速发展的同时，AI安全问题更不容忽视。

现在，AI攻击手段也是越来越多元化。从早期以提示词注入、知识污染为主的输入侧攻击，逐步发展为算力劫持、记忆篡改、状态污染等更具系统破坏性的方式。其攻击范围之广，渗透链路之深、影响周期之长，都远超传统Web系统的安全范畴。

所以，现在AI应用的安全防护不再是单纯依赖单点加固，而必须以全链路视角进行设计，它将贯穿基础设施层（Infra）、模型层、数据层、智能体层及用户客户端五个关键方向，形成立体化与可演进的安全防护体系。

AI常见攻击手段

基础设施层安全方向：

算力劫持：算力劫持是指攻击者通过安全漏洞、配置错误或内部威胁，未经授权非法控制AI推理或训练所依赖的计算资源（如GPU、TPU或云服务器实例），将其用于挖矿或进行攻击。由于AI算力资源昂贵且集中，长时间在线且对外暴露服务，使其成为极具吸引力的攻击目标，而且可能掩盖在正常推理负载之中，难以及时被察觉。

模型供应链投毒：模型供应链投毒是一种针对AI开发流程上游的隐蔽攻击。攻击者将带有后门或恶意代码的模型组件（例如预训练模型权重、模型架构文件）或依赖库（例如特定算法的PyTorch/TensorFlow扩展包）嵌入到公有模型仓库、代码库或第三方托管平台中（例如HuggingFace、Github）。当开发者或企业信任并下载这些被污染的组件集成到自身系统时，便会在AI应用中埋下隐患。被投毒的模型可能在大多数场景下表现正常，仅在特定隐蔽触发器激活时执行恶意行为（例如错误分类、数据泄露），其危害具有长期潜伏性和广泛传播性，严重破坏了开源生态的信任基础。

框架组件漏洞：框架组件漏洞指的是AI系统所依赖的底层框架或第三方组件（例如深度学习框架、智能体开发框架、插件机制等）自身存在的安全缺陷，攻击者可通过执行远程代码来获取系统控制权，从而完全掌控运行AI服务的主机。由于AI应用通常依赖复杂且快速演进的技术栈，尤其是开源技术栈（LangChain这两年没少出问题），一旦底层组件存在漏洞，造成比传统应用更严重的安全影响，相信不久前React的高危漏洞CVE-2025-55182大家都深有体会，不过多说明了。

资源耗尽：资源耗尽旨在通过恶意消耗系统关键资源，使AI服务无法对合法用户提供正常服务。与传统的DDos拒绝服务攻击不同，在AI场景下，单个请求就可能触发显著的资源消耗，使攻击行为在低频、低流量的情况下依然具备极强破坏力，同时也更难通过传统流量或频率限制策略进行有效识别。

模型层安全方向：

对抗样本攻击：对抗样本攻击是指攻击者通过精心构造的输入样本，在不明显改变语义或可读性的前提下，诱导模型产生错误判断或异常输出。这类攻击利用的是模型在高维特征空间中的决策边界脆弱性，使得我们认为合理正常的输入，在模型内部却触发了错误激活路径。例如，在一张交通识别图片中，攻击者在“停止”路牌上添加少量人类几乎察觉不到的彩色贴纸，人眼仍能清晰识别为停止标志，但模型却将其误判为其他交通标志。

模型后门攻击：模型后门攻击是指攻击者在模型训练、微调或参数适配阶段，通过投毒数据或篡改权重的方式，预先植入隐藏的触发机制，使模型在大多数情况下表现正常，但在遇到特定输入条件时执行攻击者预设的异常行为。与运行时攻击不同，模型后门具有长期潜伏和高度隐蔽的特点，一旦进入生产环境，往往难以通过常规测试发现，其影响可能覆盖模型的全部生命周期，是当前模型供应链安全中的高风险问题。

模型逆向工程：模型逆向工程，也称模型提取攻击，指攻击者通过反复查询目标模型的API，利用其输入与输出的对应关系，逐步推断模型的结构特征、参数分布或训练数据特性，从而复现模型能力或获取敏感信息。这类攻击并不直接破坏模型行为，却可能导致商业模型被复制、训练数据隐私泄露，甚至为后续更精准的对抗攻击和后门植入提供基础。

数据层安全方向：

训练数据投毒：训练数据投毒是指攻击者在模型训练或微调阶段，通过向训练数据集中恶意注入或篡改少量带有偏置、错误或恶意关联的样本，系统性地影响模型的学习结果。由于模型会将这些被污染的数据当作“事实”进行学习，其影响往往在模型上线后长期存在，表现为决策偏移、错误关联或在特定条件下输出异常结果，是一种隐蔽性高、修复成本大的数据层安全风险。

RAG上下文诱导信息泄露：在检索增强生成（RAG）架构中，模型在生成回答时，被提示词诱导输出本应仅作为内部参考的检索上下文内容，导致私有文档、内部知识或敏感片段在回复中被直接暴露。该问题并非源于数据访问权限失效，而是生成阶段对“可输出内容边界”控制不足所引发的数据泄露风险。

智能体层安全方向：

提示词注入：提示词注入是指攻击者通过输入精心构造的指令，干扰或覆盖智能体原有的系统提示词、角色约束或安全规则，使其在任务执行过程中偏离预期行为。由于智能体通常具备多轮对话、上下文累积和任务规划能力，其核心威胁在于对智能体控制逻辑的劫持，一旦提示词边界被突破，能够绕过应用层安全设计，错误指令可能被持续放大并传导至后续决策与工具调用，形成连锁风险。

工具滥用：工具滥用是指智能体在被诱导欺骗或配置不当的情况下，调用了不必要、越权或高风险的外部工具接口，从而造成数据泄露、状态破坏或资源消耗。例如攻击者通过精心构造的请求，使工具调用偏离合法用途，执行文件删除、数据库清空、恶意邮件发送或高风险金融交易等。该类风险并非工具本身存在漏洞，其本质是对智能体权限边界的突破，将合法的功能接口转化为攻击链中的一环，使得原本用于提升能力的工具链反而成为攻击路径的一部分。

记忆篡改：记忆篡改是指攻击者通过长期交互或隐蔽输入，将错误、偏置或恶意信息写入智能体的长期记忆或状态存储中，使其在后续任务中基于被污染的记忆做出决策。与一次性提示词注入不同，记忆篡改具有持续性和累积性，其影响往往在多轮交互甚至跨会话场景中逐步显现，增加了发现和修复的难度。

用户客户端方向：

客户端提示词注入：客户端提示词注入是指攻击者通过操纵客户端侧的输入内容、上下文拼装或前端逻辑，将恶意指令嵌入发送给模型或智能体的最终请求中。该类攻击发生在用户输入到后端推理之间，其核心风险在于客户端对系统提示词、隐藏上下文或请求结构缺乏有效隔离与保护。与智能体层提示词注入不同，客户端提示词注入并不直接挑战智能体的决策逻辑，而是通过影响客户端构造的请求内容，使后端在不知情的情况下接收并执行被污染的上下文。

诱导性越狱攻击：诱导性越狱攻击是指用户通过一系列精心设计的、符合语法的自然语言对话策略，逐步引导或说服模型突破其内置的内容安全策略、伦理准则和操作限制，从而输出本不被允许的内容或执行受限行为，例如违法信息、虚假内容、仇恨言论或涉及隐私的数据。该类攻击往往不依赖明确的违规指令，而是通过看似合理、连续的交互逐步“软化”模型的安全边界，使其在逻辑上为越权行为自我辩护并最终放行。

执行环境的安全性：执行环境的安全性是指客户端运行AI应用时，其本地环境、运行时依赖及调用链路是否受到有效保护。若客户端存在恶意插件、调试注入、运行时篡改或不可信脚本，攻击者可能在模型调用前后截获、篡改请求与响应，甚至伪造执行结果，从而破坏模型输出的可信性并扩大攻击影响范围。

----------

AI安全防护思路

整体对于AI安全的防护思路分两种：

一种是无侵入式的，也就是外置式安全防护，不侵入现有AI应用内部架构，在模型调用前后构建独立的安全防护层，背后是拦截器的思想，例如对输入提示词、模型输出、调用行为等进行拦截处理。具体实现上，可以考虑用“以模治模”的思路去实现。

另一种则是侵入式的，将安全能力作为系统设计的一部分，深度融入模型调用、智能体决策、工具使用、记忆管理和数据流转等核心链路中。这种方式强调在架构层面需建立清晰的安全边界与约束机制，通过设计时防护实现对复杂攻击场景的系统性防御。

外置式安全防护：

外置式安全防护聚焦于基础设施层与AI应用中内容交互相关的风险，在不侵入AI应用核心业务的前提下，通过外接AI安全工具、或导入封装的AI安全独立模块、又或者接入第三方AI云产品服务来实现，以满足基础设施攻击、内容风险等问题的实时防护需求。这种方式的优势在于灵活，即插即用。具体技术实现上，可以考虑内部封装并接入以下AI防护功能（越通用越好），甚至可以搭建一个专业的AI安全防护平台，让企业内各AI应用接入使用：

AI漏洞检测：持续监控和定期扫描接入AI应用服务器，以及其AI应用本身使用到的组件和依赖库，实时检测已知安全漏洞，提供影响范围和修复建议等信息提示。

工具调用安全检测：对每一次工具调用进行安全检测，例如现在主流的MCP协议模式，在运行前，对MCP Server URL、Server的配置文件、Server tools等环境进行监测；在调用过程中，实时监测MCP Client对MCP Server的访问风险、工具返回内容风险、工具执行风险等。

AI主机防护：对AI主机进行7×24小时防护，可对异常调用等入侵行为进行监测报警与主动防御。

训练AI安全细分领域大模型：用以模治模思想，通过专项训练的检测模型对抗大模型安全风险。

内容安全防护：构建内容安全护栏，通过训练的安全大模型 + 构建的通用性质安全评测数据集与业务特定安全评测数据集（数据集以知识库方式嵌入），实时检测用户输入与模型输出，对风险内容进行拦截或安全改写，保障回复内容安全可信。

整体构建思路，我们需要尽可能多的覆盖OWASP LLM Top10安全威胁（OWASP发布的大语言及其应用安全风险清单），具体《OWASP Top 10 LLM-2025安全风险与防护策略清单》内容如下：

侵入式安全防护：

侵入式安全防护强调将安全能力嵌入为AI系统的一部分，从提示词构建、模型推理、工具调用到记忆管理与输出控制，贯穿智能体的完整执行链路。相比外置式防护，其实现成本更高，但能够提供更细粒度、更可靠的安全保障，是面向复杂业务场景和高风险AI应用的核心防护手段。

提示词与上下文构建：在提示词生成、拼装和传递阶段引入安全约束，明确角色边界、任务范围和与禁止行为，并在上下文拼装逻辑中对用户输入、检索内容和历史对话进行结构化隔离，可以有效降低提示词注入和上下文污染对系统行为的影响。

模型推理的安全控制：模型推理过程中引入安全校验与控制机制，使模型调用本身行为受控。例如，对不同任务、不同风险等级采用差异化的模型配置、参数约束或输出策略，避免高风险能力在不合适的场景中被调用，从而降低模型被滥用或误用的概率。

工具调用的权限治理：在智能体具备工具调用能力的场景下，必须将工具访问视为一种高风险操作，需要引入明确的工具调用策略、权限分级与调用审计机制。限制智能体能调用什么、在什么条件下调用、调用到什么程度，防止工具滥用和越权执行问题。

状态与长期记忆的安全管理：对于具备长期记忆或跨会话状态的智能体系统，侵入式防护需要在记忆写入、更新和读取阶段引入安全策略。通过对记忆内容进行来源标记、可信度评估和生命周期管理，防止恶意信息被长期固化为系统认知，从而引发持续性风险。

RAG的安全约束：通过权限限制检索内容的可见范围、对注入上下文进行裁剪与脱敏，并在生成阶段明确禁止模型直接复述原始文档，从而降低上下文诱导泄露的风险。

输出结果的安全约束：对模型或智能体最终输出结果进行安全控制，通过在生成阶段或后处理阶段引入输出校验、风险评估和策略约束，避免不合规、不安全或越权的信息被直接返回给用户。

----------

最后，对于外挂式安全防护，自己构筑成本太高，尤其还需要引入一些行业的标准和构建各类安全防护库，建议接入一些第三方服务可以省很多事情，例如接入360公司的全链路安全防护套件。而对于浸入式安全防护，需结合自己身业务场景和安全隐患进行集成。

但无论如何防护，我们的出发点和安全防护方向，都可以参照OWASP发布的大语言及其应用安全风险清单进行构筑。而且我们不能等出问题了再想到防护，一定要定期扫描和日常做一些安全对抗性测试。

我了解的企业现状是，大家的重点可能都放在跑通产品PMF和专注于公司AI的业务场景里，很少有公司会对AI安全层面加大投入。但是不同公司性质和AI发展阶段不同，而智能体和传统应用的安全关注点和防护措施也有所不同，相信随着时间的推移，会有越来越多的公司重视AI安全。

（正文完）