前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >简述AI漏洞修复研究现状及发展方向

简述AI漏洞修复研究现状及发展方向

原创
作者头像
zhouzhou的奇妙编程
发布于 2024-06-15 05:43:43
发布于 2024-06-15 05:43:43
6240
举报

2024年,人工智能(AI)技术正以其前所未有的速度和影响力,革新着网络安全领域。AI在自动化漏洞修复方面的应用,标志着我们迈入了一个全新的网络安全时代。

前段时间有幸听取了鲁军磊先生的演讲,确实也是受益匪浅,这里特意撰写此文。

鲁军磊先生的演讲主要围绕三大核心议题展开:首先,全面梳理了当前大模型技术的发展趋势;其次,细致分析了传统的漏洞发现与修复流程;最后,详细探讨了AI技术与漏洞修复相结合的前沿进展。

1.大模型发展现状

网络安全技术的演进经历了从传统规则集到大数据,再到AI广泛赋能的过程。如今,大模型技术正处于探索阶段,它有望为安全领域带来更加精准、智能的解决方案。AI技术的发展,尤其是在自然语言处理(NLP)领域,已经催生了如Transformer和MoE稀疏混合专家模型等强大的模型,它们通过海量参数学习,能够处理复杂的安全问题。

演进历程
演进历程

2022年以来,AI技术在医疗、城市、工业、能源、金融等多个领域加速落地,成为推动产业数字化的关键力量。在DevOps开发过程中,AI代码编写助手、技术剖析工具、脚本生成平台等应用层出不穷,显示出AI技术在提升开发效率和质量方面的潜力。

谷歌和微软等海外巨头厂商持续投入AI+安全领域,推出了如Sec-PaLM2和Security Copilot等工具,这些工具通过大模型技术大幅提升了泛场景安全能力,解决了威胁过载、工具繁琐和人才缺口等安全挑战。

2.传统漏洞发现/修复流程

在网络安全的发展历程中,漏洞挖掘技术经历了四个不同阶段。早期的漏洞挖掘主要依赖于安全专家的手工审计,这一过程不仅耗时耗力,而且效率有限。随着技术的进步,规则驱动的扫描工具被引入,它们通过一系列预设的安全规则来自动化扫描过程,极大提升了漏洞检测的效率和准确性。随后,动态测试技术应运而生,它通过模拟软件的实际运行环境来动态发现漏洞,有效弥补了静态分析的不足。现在,已步入智能化挖掘的新纪元,遗传进化算法等先进算法开始在漏洞挖掘中发挥作用,它们模拟生物进化过程,通过迭代优化智能地识别软件漏洞,进一步提高了挖掘的精准度和效率。

在漏洞修复策略上,同样呈现出多样化的技术和方法,每种方法都有其独特的优势与局限性:

  • 依赖版本控制的修复方法:这种方法主要针对已知存在缺陷的第三方库或组件。通过简单地更新或回退到稳定的版本,可以迅速解决安全问题。然而,这种方法的弊端在于它依赖于外部维护者的更新节奏,有时可能会引入新的兼容性挑战。
  • 程序移植导向的修复方式:在软件需要跨平台或跨语言迁移的场景下,该方法发挥着重要作用。它能够处理兼容性问题,但通常需要资深工程师的深入参与,过程较为复杂且耗时。
  • 基于抽象语法树(AST)与模板的修复方式:这种方法通过结合AST和修复模板来解决简单漏洞模型的问题。它在特定场景下效率较高,但在处理复杂代码逻辑时可能会出现较高的误报率和漏报率。
  • 约束求解与符号执行的修复方式:这是一种深入的漏洞修复技术,特别适合处理复杂的内存破坏漏洞。它能够精确定位并修复深层次的逻辑缺陷,但这种方法在计算资源和性能上有一定的要求。
漏洞修复方式
漏洞修复方式

鲁军磊先生表示,与传统方案相比,基于AI的智能体方案展现出显著的优势。它通过智能决策、自动化规划、有效性验证等手段,大幅提高了漏洞修复的效率和准确性。AI智能体能够理解复杂的上下文信息,进行精准决策,并自动化执行复杂的安全任务。

方案对比
方案对比

3.AI技术和漏洞的结合

在当今的网络安全领域,AI Agent正扮演着至关重要的角色。这些智能体的核心特性在于其记忆系统,包括长期记忆和短期记忆,使它们能够存储并利用历史信息更好地执行任务。此外,AI Agent 能够整合并运用各种安全工具,采用特定的框架设计方案以支持多智能体之间的协同工作。通过精心设计和优化输入提示,这些智能体的整体表现得以提升。

在AI Agent时代中,人类与AI的协作模式主要分为三种:Agents模式、Embedding模式Copilot模式。这些模式根据人类和AI在任务中的不同参与程度和角色进行了明确的区分,从而实现了更加高效的合作方式。

人工智能技术在漏洞修复工作中展现出了无与伦比的优势,包括处理速度和可扩展性、模式识别、数据驱动的深刻见解、减少人为偏见、保持一致性以及与语言无关的普适性。这些优势催生了以 AI 智能体为核心的智能解决方案,它们能够更有效地进行漏洞修复。通过上传任务、自动化处理复杂和重复性工作、基于安全知识的交互方式,以及多模型和多智能体之间的协同合作,AI 智能体实现了安全任务的高效率、精确性、主动性和协作性。

打造代码安全智能体
打造代码安全智能体

鲁军磊先生在讨论中特别提到了“代码安全智能体”,这是一种创新产品形态,旨在帮助开发者和安全研究者深入理解安全编程挑战、提升代码质量,并促进开发与安全团队之间的协作。

打造代码安全智能体
打造代码安全智能体

在AI技术的应用过程中,选择恰当的模型、构建安全的系统、关注用户体验以及进行提示工程是至关重要的。这些做法有助于确保AI技术在安全领域的负责任使用,并能够优化AI模型的响应,降低错误率和成本。智能体的开发过程涉及任务工作流的拆分、关键行动的确定、关键产物的记忆、任务目标的反思和最终的达成。

鲁军磊先生通过CWE89和CWE80的案例,展示了AI在SQL注入和XSS漏洞扫描与修复中的应用实例。AI还被应用于代码审计,帮助开发者识别并修复开源项目中存在的安全漏洞。AI系统通过建立有效的反馈循环,从实际应用中学习,不断更新安全策略和技术,以实现自我优化和提升。开源社区在推动模型和技术发展中发挥着不可或缺的作用。AI Agent作为释放LLM潜力的关键,为我们描绘了一条通往更高级人工智能的重要路径。

4.回顾:腾讯混元大模型在研发安全漏洞修复的实践

不知道大家有没有印象,在今年3月时腾讯其实也发布了一篇名为《腾讯混元大模型在研发安全漏洞修复的实践》。里面介绍了朱雀实验室研发的一款大模型漏洞修复插件。能实现研发安全场景的漏洞自动修复,给出修复建议并提供修复代码,帮助更多开发人员提高研发效率。在腾讯混元大模型的支持下,漏洞修复插件通过精调后部署的私有化模型,实现了在帐密硬编码、SQL注入、命令注入等漏洞类型的修复建议输出和修复代码生成等功能,实现安全左移,更有效地在编程中使用插件收敛漏洞风险。

5.展望未来:AI与网络安全的融合趋势

随着AI技术的不断成熟和应用深化,网络安全领域的未来图景将更加广阔。以下几个方面将是AI技术与网络安全融合发展的关键趋势:

  • 智能化防御体系:未来的网络安全体系将更加依赖AI的自主学习与决策能力,形成能够自适应、自我优化的防御机制。这将涵盖从威胁预测、实时监测、智能响应到事后分析的全链条,使网络安全防护更为敏捷和精准。
  • 跨域协同安全:AI智能体将不仅仅局限于单个系统或网络环境,而是能够跨越不同的网络生态,实现跨组织、跨行业的安全信息共享与协同防御。这种协同将大大提高对大规模、复杂攻击的抵御能力。
  • 安全合规自动化:AI技术将帮助企业自动化处理合规性检查,确保软件开发和运维过程符合行业安全标准和法规要求。通过深度学习企业特定的安全政策和最佳实践,AI能实时监控并指导修正不合规行为,减少人为错误。
  • 隐私保护强化:AI将在保护用户数据隐私方面发挥核心作用,通过高级加密技术、差分隐私和联邦学习等手段,在不影响数据分析效果的前提下,最大限度保护个人隐私。
  • 安全技能民主化:AI辅助的安全工具将使得非专业安全人员也能轻松识别和应对常见安全威胁,降低安全防护的专业门槛,实现安全技能的广泛普及和应用。
  • 可持续安全生态建设:开源社区、研究机构、企业和政府之间的合作将进一步加强,共同推进AI安全技术的研发、标准化和应用,形成一个可持续发展的安全生态系统。

我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
AI Agent,为什么是AIGC最后的杀手锏?
AI Agent无疑是当下大模型最激动人心的发展主线,被称为“大模型下一场战事”“最后的杀手产品”“开启新工业革命时代的Agent-centric”。11月7日,OpenAI首届开发者大会(OpenAI DevDay)引爆了AI Agent。OpenAI发布了AI Agent初期形态产品GPTs,并推出了相应的制作工具GPT Builder。用户仅仅通过跟GPT Builder聊天,把想要的GPT功能描述一遍,就能生成专属GPT。专属GPT可以在日常生活、特定任务、工作或家庭中更为适用。为此,OpenAI还开放了大量的新API(包括视觉、图像DALL·E3、语音),以及新推出的Assistants API,让开发者可以更便捷地开发自己专属的GPT。比尔·盖茨最新发表一篇文章明确提出,5年内AI Agent将大行其道,每个用户都将拥有一个专属AI Agent。用户不需要再因为不同的功能需求而使用不同的APP,他只需用日常语言告诉他的Agent想做什么就可以。[1]
小腾资讯君
2023/11/29
2.4K0
AI Agent,为什么是AIGC最后的杀手锏?
[AI安全论文] (32)南洋理工大学刘杨教授——网络空间安全和AIGC整合之道学习笔记及强推(InForSec)
首先祝大家五一节快乐!《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢。由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学术路上期待与您前行,加油。
Eastmount
2024/05/08
1.2K0
[AI安全论文] (32)南洋理工大学刘杨教授——网络空间安全和AIGC整合之道学习笔记及强推(InForSec)
生成式 AI 的发展方向:Chat 还是 Agent?
随着生成式 AI 技术的不断进步,关于其未来发展方向的讨论也愈发激烈。究竟生成式 AI 的未来是在对话系统(Chat)中展现智慧,还是在自主代理(Agent)中体现能力?这一问题引发了广泛的讨论和探索。本文将从整体介绍、技术对比以及未来展望三个方面,探讨生成式 AI 的发展方向。
正在走向自律
2024/12/18
3460
生成式 AI 的发展方向:Chat 还是 Agent?
浅谈华为SDL软件安全工程能力
谈华为安全,缺一漏万,笔者认为其是在SDL领域国内最强的公司,其建设的难点也同互联网公司迥然不同,在于历史债务如何处理,如何做工程化,下面简单介绍下软件安全能力建设的部分。笔者希望华为可以更多分享一些安全设计的机制、内部的PSIRT运营、全球网络隐私合规、商业安全工具平台、对客户提供的安全解决方案等。以下内容均基于网络公开信息,笔者已脱敏处理:)
安全乐观主义
2020/07/24
2.4K0
浅谈华为SDL软件安全工程能力
[算法前沿]--061-生成式 AI 的发展方向,是 Chat 还是 Agent?
AI Agent是一种超越简单文本生成的人工智能系统。它使用大型语言模型(LLM)作为其核心计算引擎,使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之,Agent是一个具有复杂推理能力、记忆和执行任务手段的系统。
AI拉呱
2024/02/09
7710
[算法前沿]--061-生成式 AI 的发展方向,是 Chat 还是 Agent?
数字孪生与网络空间靶场的结合是否已经成熟?
数字孪生(Digital Twin)是物理实体的数字化映像。它是从设计/仿真,延伸到产品全生命周期。建立数字孪生测试床可以在建立的实物测试床基础上,进行更多的破坏性信息安全研究试验,能够基于此挖掘出更多的未知漏洞。数字孪生网络空间靶场可用于指导、测试和评估网络空间靶场的风险评估、漏洞分析、漏洞挖掘等功能。数字孪生靶场将最前沿的技术应用于信息安全领域,服务于信息安全的测试研究,相比较而言,数字孪生比虚拟仿真更加接近真实的实物系统,由于其是实物的1:1映射,因此基于数字孪生技术的网络空间靶场可实现实物测试无法比拟的反复测试、安全检测等优势。
时间之外沉浮事
2019/12/18
3.6K0
数字孪生与网络空间靶场的结合是否已经成熟?
腾讯云 AI 代码助手:AI Agent 构建企业新一代研发范式
本文将探讨腾讯云 AI 代码助手在聚焦产品开发领域的同时基于扩展性能力集成接入用户业务需要 AI Agent 智能体应用完成 SDLC 全过程的衔接完成新一代研发范式落地的解决方案。
腾讯云代码助手 CodeBuddy
2024/12/06
5300
AI Agent,为什么是AIGC最后的杀手锏?
AI Agent无疑是当下大模型最激动人心的发展主线,被称为“大模型下一场战事”“最后的杀手产品”“开启新工业革命时代的Agent-centric”。11月7日,OpenAI首届开发者大会(OpenAI DevDay)引爆了AI Agent。OpenAI发布了AI Agent初期形态产品GPTs,并推出了相应的制作工具GPT Builder。用户仅仅通过跟GPT Builder聊天,把想要的GPT功能描述一遍,就能生成专属GPT。专属GPT可以在日常生活、特定任务、工作或家庭中更为适用。为此,OpenAI还开放了大量的新API(包括视觉、图像DALL·E3、语音),以及新推出的Assistants API,让开发者可以更便捷地开发自己专属的GPT。比尔·盖茨最新发表一篇文章明确提出,5年内AI Agent将大行其道,每个用户都将拥有一个专属AI Agent。用户不需要再因为不同的功能需求而使用不同的APP,他只需用日常语言告诉他的Agent想做什么就可以。[1]
腾讯研究院
2023/12/07
1.8K0
AI Agent,为什么是AIGC最后的杀手锏?
AI+安全,是机遇亦是挑战 | FIT 2019议题前瞻「前沿安全神盾局」
从“互联网+”到“AI+”,信息化时代向新的阶段进化。2018年,人工智能的发展逐渐落到实处,少了许多浮夸和空谈。网络安全战略意义的升级,“网络安全+AI”已经成为了必然的趋势。
FB客服
2018/12/19
8340
AI+安全,是机遇亦是挑战 | FIT 2019议题前瞻「前沿安全神盾局」
大模型未来发展方向大揭秘,你绝对想不到!
导读:在数字化时代,大模型已经成为技术和商业领域的焦点。这些模型在处理和生成文本方面表现出色,为市场营销人员、广告商和创业者等群体提供了强大的工具。随着需求增长、技术的进步,AI将朝着一个更加个性化、多功能、多模态的未来迈进。本文将围绕个性化、多功能以及多模态这三大发展方向进行解读,列举大模型的现状与挑战,分析改进与发展趋势,并畅想未来应用场景,以提供一种前瞻性视角,对大模型的应用部署及优化提供一些参考。
空白诗
2024/11/18
2750
生成式AI之下,软件供应链安全的升级迫在眉睫
随着生成式AI和大语言模型技术的快速发展和广泛应用,尤其是在软件供应链安全领域,AI与软件供应链的深度融合催生了新的安全课题。
软件供应链安全工具推荐
2025/02/21
1350
生成式AI之下,软件供应链安全的升级迫在眉睫
AI猎手:我们用大模型挖到了0day漏洞!【大模型应用实践系列三】
我本是一名普通的小白帽,有一天上班路上,遇到了位神秘老者,他拦住我,问道:小伙子,你是做什么的?
腾讯安全应急响应中心
2025/01/02
5200
AI猎手:我们用大模型挖到了0day漏洞!【大模型应用实践系列三】
2021腾讯犀牛鸟精英科研人才培养计划课题(五)——机器学习及其相关应用研究
12月11日,2021年腾讯犀牛鸟精英科研人才培养计划正式对外发布。计划截止申报时间为2021年1月28日24:00。 本年度精英科研人才计划将延续人工智能领域顶尖科研人才培养,发布包含机器人、AI医疗、量子计算、智慧城市等12个前沿热议方向,71项研究课题。入选学生将由校企导师联合制定专属培养计划,并获得3个月以上到访腾讯开展科研访问的机会,基于真实产业问题及海量数据,验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将为学生搭建线上和线下学习、交流平台,帮助学生挖掘更多潜能。 本期小编整理了该计
腾讯高校合作
2020/12/22
8320
车联网安全技术现状、突破及趋势
据公安部2024年1月11日统计,截至2023年底,全国机动车保有量达4.35亿辆,其中汽车3.36亿辆;机动车驾驶人达5.23亿人,其中汽车驾驶人4.86亿人。伴随汽车的逐步普及,车联网在十年内经历了巨大的技术变革,汽车智能网联功能已成为当前新车标配,百姓对汽车功能的需求越来越多元化,提供座舱娱乐、自动驾驶等功能的新型汽车部件日趋成熟,多种汽车电子电气架构随之涌现。
绿盟科技研究通讯
2024/07/12
6400
车联网安全技术现状、突破及趋势
校招实习JD-安全工程师
蚂蚁集团网商银行是中国首批互联网银行,中国第一家将核心系统架构在金融云上的银行,服务超过2900万小微经营者,其中70%经营者过去从未获得银行贷款。网商银行从事数字金融行业,是对安全极为重视的技术公司,因此对于安全类人才的招聘、培养、发展也极其重视。
蚂蚁安全柳星
2022/10/31
6780
这一仗,互联网大厂和他们打了18年
看看这段澳洲课堂上老师播放的特朗普和蓬莱奥合唱《我爱你中国》的视频就知道,技术就是工具,它可以造假,也可能「失控」。
新智元
2023/01/07
5910
这一仗,互联网大厂和他们打了18年
一文搞懂:RAG、Agent与多模态的行业实践与未来趋势
大模型作为产业变革的核心引擎。通过RAG、Agent与多模态技术正在重塑AI与现实的交互边界。三者协同演进,不仅攻克了数据时效性、专业适配等核心挑战,更推动行业从效率革新迈向业务重构。本文将解析技术演进脉络、实战经验与未来图景,为读者提供前沿趋势的全局视角与产业升级的实践指引。
腾讯云开发者
2025/04/26
5240
一文搞懂:RAG、Agent与多模态的行业实践与未来趋势
AI 技术发展趋势
基于深度学习的人工智能方法在许多场景取得了重要突破,但仍然存在模型可解释性差、对抗样本鲁棒性差、数据与算力需求大、理论基础薄弱等问题。未来,人工智能需要突破的主要领域有:可解释人工智能和鲁棒人工智能理论与方法、通用人工智能理论与方法、安全、可靠、可信及可扩展的人工智能技术、类脑智能等。从感知智能走向认知智能是人工智能技术发展的趋势。
天涯学馆
2024/05/21
2910
AI 技术发展趋势
腾讯混元大模型在研发安全漏洞修复的实践
利用传统方法做漏洞修复提效,只适用于比较简单的场景,比如根据版本号判断使用的开源组件是否存在漏洞,更多高危险的如导致数据泄露的注入类漏洞/账密类等,该方案难以通用。主要原因总结如下:
腾讯技术工程官方号
2024/03/06
1.8K0
腾讯混元大模型在研发安全漏洞修复的实践
我“AI”发文——AI发展现状与未来趋势分析
人工智能(AI)作为当前科技发展的核心领域,正以前所未有的速度影响着各行各业。从自然语言处理(NLP)、计算机视觉(CV),到自动驾驶、智能制造,AI的发展正逐步走向更高的智能化阶段。本文将详细分析AI的现状,并探讨其未来的发展趋势。
LucianaiB
2025/03/23
6020
推荐阅读
相关推荐
AI Agent,为什么是AIGC最后的杀手锏?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档