破解自动化渗透测试效能迷局：基于百亿Token的LLM大模型实证解析

洞悉自动化渗透测试的架构盲区与应用瓶颈

当前网络安全领域在探索大语言模型（LLM）驱动的自动化渗透测试（AutoPT）时，普遍面临战略层面的盲区与执行层面的瓶颈。行业内严重缺乏针对AutoPT的系统性架构分析以及统一基准下的大规模实证比较，以往工作多局限于深度强化学习（DRL）方法或宏观分析，缺乏细粒度的架构解构。

在实际业务场景中，企业面临着理想与现实的巨大落差：框架的复杂性并未带来效能的提升。在多漏洞组合利用场景下，70%的日志显示智能体未能有效进行多漏洞利用；面对已知CVE漏洞，56.7%的执行日志未能构造出有效payload。此外，“Flag幻觉”现象在13个主流框架中的8个中普遍存在，且多智能体设计常因功能重叠、规划器建议冲突及通信信息损耗（如摘要交互导致信息丢失）而陷入死循环或任务执行阻塞。

构建六维评测体系与适配大模型特性的架构重塑

针对上述痛点，四川大学 DAS-Lab、清华大学 NISL-VUL337 与 腾讯云安全 联合开展研究（分享人：彭佳仁），首次提出了基于LLM的AutoPT系统化知识体系，构建了包含智能体架构、规划、记忆、执行、外部知识与基准测试（Benchmarks）的6维架构分类标准。

该体系摒弃了盲目堆砌组件的传统思路，提出“架构复杂性是一把双刃剑，经过精细的简洁设计在效能上往往优于复杂编排”的核心观点。研究明确指出，标准ReAct闭环的单智能体设计由于能维护完整上下文、决策-执行-反馈链路极短，且具备零通信开销的优势，天然适配渗透测试（CTF）强耦合与快速试错的场景要求。

穿透工具冗余，用量化指标验证真实渗透效能

通过对核心组件的消融实验与日志审查，研究揭示了决定投资回报率（ROI）与执行效能的3个核心业务指标及反直觉洞察：

• 知识库负收益率 (KB Negative ROI) 达到 67%： 盲目引入传统RAG（检索增强生成）通常带来负面收益。实测发现，检索失配会导致攻击假设发生偏移，67%的框架在引入外部知识库后性能出现下滑。在剥离知识库组件后，4/6的框架得分反而上升（如Cruiser提升15分，LuaN1ao提升7分）。
• 执行反馈延迟 (Execution Feedback Latency) 激增 4 倍： 过度约束会严重抑制骨干模型的推理能力。例如，Tinyctfer框架因强制使用Python工具路径，导致反馈循环被延长了4倍，其得分（68分）甚至低于仅凭终端环境和简单提示词的基线框架（baseline-cc 69分）。
• 架构效能比 (Architecture Efficiency) ： 在评估的13个框架中，有3个单智能体设计位列前六。在困难任务中，单智能体每次调用消耗更多Token，但在整体成功率上与复杂的多智能体设计持平甚至有所超越。同时指出，工具池的规模与任务成功率毫不相关，匮乏或庞大的工具集均可能起反作用。

依托百亿级Token基准测试还原真实攻防场景

为了确保结论的数据驱动与真实性，研究团队构建了极具规模的实证测试床。本次实证研究采用 DeepSeek-Chat-v3.2 作为主要骨干模型，在严格控制LLM训练数据污染的前提下，选取了22个涵盖简单、中等、困难三个层级的XBOW挑战。

在相同环境条件下，团队对13个具有代表性的开源AutoPT框架及2个基线框架（Kimi CLI, Claude Code）进行了端到端评估。整个验证过程消耗了超过100亿 Token，计算成本超过2500美元，并由15名以上的专业网络安全研究人员，历时4个多月对1500多份执行日志进行了深度的人工审查与错误归因。

驱动底层模型协同，确立自动化渗透的新一代基线

通用Benchmark领先并不等于AutoPT场景最优，框架设计必须与底层LLM的行为特征进行深度适配（如Claude-Opus-4.6综合能力强，而GPT-5.2易过早终止）。腾讯云安全及联合高校团队的研究指明了下一代自动化渗透测试平台的演进路径：

1. 记忆显式化与路径非线性化： 记忆管理机制是框架能力差异的核心，必须建立合理的关键信息显式存取机制；相较于线性结构，树状/图状的路径规划能更有效避免模型陷入“兔子洞”陷阱。
2. 构建高质领域RAG与技能机制： 传统RAG大概率失效，唯有构建包含针对特定已知CVE、高质量且经过验证PoC脚本的强适配领域RAG，并辅以明确调用条件的领域专用工具+“Skill”机制，才是持续可靠利用漏洞的必由之路。
3. 底层安全管控配置： 渗透智能体的高系统权限构成了不可忽视的潜在攻击面，基于沙箱隔离等机制的安全管控必须成为框架的底层基础配置。