大型语言模型应用十大安全风险

40多页LLM应用的十大风险

这是一份关于LLM应用的十大风险（2025版），有一定的参考价值。

如果你时间充裕，可以听听播客，详细了解：

如果你只想快速了解10条分别是什么，可以直接看重点摘录：

• 提示注入
  • 描述：用户输入能够改变大型语言模型（LLM）的行为或输出，导致意外结果。
  • 示例：攻击者通过注入特定提示，让客户支持聊天机器人忽略原有指令并查询私人数据，导致未经授权的访问和权限提升。
• 敏感信息泄露
  • 描述：大型语言模型（LLM）及其应用可能在其输出中暴露敏感数据。
  • 示例：由于数据清理不足，用户在与LLM互动时，可能会收到包含其他用户个人数据的响应。
• 供应链
  • 描述：大型语言模型（LLM）供应链容易受到漏洞影响，从而损害训练数据、模型和部署平台的完整性。
  • 示例：攻击者利用LLM应用开发中使用的易受攻击的Python库，可能导致系统受到威胁，例如攻击PyTorch依赖项注入恶意软件。
• 数据与模型中毒
  • 描述：通过操纵训练数据引入漏洞、后门或偏见，损害大型语言模型（LLM）的安全性和性能。
  • 示例：攻击者通过操纵训练数据或利用提示注入，使模型输出带有偏见，从而传播错误信息。
• 不当的输出处理
  • 描述：在将大型语言模型（LLM）生成的输出传递给下游系统之前，未能对其进行充分的验证、清理和处理。
  • 示例：一个Web应用使用LLM生成内容时没有清理输出，攻击者提交精心设计的提示，导致LLM返回未清理的JavaScript载荷，从而在用户浏览器上触发跨站脚本攻击（XSS）。
• 过度的代理
  • 描述：大型语言模型（LLM）系统被赋予了过多的执行动作或与外部系统交互的能力。
  • 示例：一个拥有发送邮件功能（超出读取邮件所需功能）的LLM个人助理应用被欺骗，扫描用户收件箱中的敏感信息并转发给攻击者。
• 系统提示泄露
  • 描述：用于引导大型语言模型（LLM）行为的系统提示被泄露，可能包含敏感信息并助长其他攻击。
  • 示例：一个LLM的系统提示中包含了用于访问某个工具的凭据，这些凭据被泄露后，攻击者可以利用它们进行其他恶意活动。
• 向量和嵌入弱点
  • 描述：在使用检索增强生成（RAG）的系统中，向量和嵌入的生成、存储或检索过程中的弱点可能被利用。
  • 示例：攻击者在用于RAG系统的简历中加入隐藏指令文本，成功操纵LLM对该候选人的评估和推荐结果。
• 错误信息
  • 描述：大型语言模型（LLM）生成看起来可信但实际虚假或误导性的信息。
  • 示例：一家公司的医疗诊断聊天机器人提供了不准确的信息，导致患者遭受不良后果并引发诉讼，体现了LLM系统可靠性不足带来的风险。
• 无限消耗
  • 描述：大型语言模型（LLM）应用允许用户进行过度且不受控制的推理，导致拒绝服务、经济损失或模型窃取等风险。
  • 示例：攻击者在按使用量付费的云AI服务上产生大量操作，过度消耗计算资源，给服务提供商带来无法承受的经济负担。