Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >AI 生成假文件,用套娃让黑客自我怀疑

AI 生成假文件,用套娃让黑客自我怀疑

作者头像
AI科技大本营
发布于 2023-05-08 05:43:46
发布于 2023-05-08 05:43:46
2910
举报

作者 | DARTMOUTHCOLLEGE

责编 | 欧阳姝黎

头图 | 下载于ICphoto

第二次世界大战期间,英国情报人员在一具尸体上放置了虚假文件,以愚弄纳粹德国,诱使其对希腊发动袭击。这种代号 “碎肉行动”(Operation Mincemeat)的措施取得了成功,并掩盖了盟军入侵西西里岛的意图。

间谍活动中的 “金丝雀陷阱” 技术通过传播多种版本的假文件来隐藏秘密。金丝雀陷阱可以用来发掘泄露的信息,或者像第二次世界大战期间发生的那样,用制造分散注意力的消息来隐藏真正有价值的信息。

最近,达特茅斯学院计算机系设计了一个新型数据保护系统 WE-FORGE,便可以使用人工智能技术构建金丝雀陷阱。

在知识产权犯罪活动日益猖獗的今天,这一研究具有十足的现实意义:创新型公司对技术进行了大量的投资,然而,往往一个小成本的网络攻击就可以使攻击者窃取价值数以亿计的新技术。

此前,FORGE(Fake Online Repository Generation Engine)系统已经用于解决这个问题,它可以自动生成任何真实文件的 N 个 "假" 版本,从而使攻击者必须确定泄露的 N+1 个文件中哪一个是真实文件。但 FORGE 这个解决方案仍有两个主要缺点,一是需要FORGE 本体(ontologies)生成假文件;二是FORGE 需要以“先识别,后替代”的方式生成假文件。

而本文提出的 WE-FORGE 系统,基于 Word-Embedding 技术,完全消除了对本体的需求,可以自动制造虚假文件,来保护药物设计和军事技术等方面的知识产权。(论文题为 Using Word Embeddings to Deter Intellectual Property Theft through Automated Generation of Fake Documents,发表在 ACM Transactions on Management Information Systems 上。)

根据论文,WE-FORGE 的几大贡献亮点如下:

  • 开发了一个融合词嵌入和聚类的架构,以识别概念的潜在替代。
  • 将选择最佳概念替换和最佳替换的问题定为两个 Joint Concept Replacement 问题(JCR)。
  • 为了确保生成的假文件集的多样性,在 JCR 问题的目标函数中加入了一个正则化项以确保这一点。

此外,WE-FORGE 算法确保随机地选择替代品,从而减少了攻击者可以轻易地反向工程的机会。

达特茅斯学院网络安全、技术和社会学领域杰出教授,安全、技术和社会学研究所主任 V.S.Subrahmanian 说:“该系统生成的文件与原始文件非常相似,是具有可信度的,但又与原始文件有很大差异。”

事实上,网络安全专家已经在使用 “金丝雀陷阱” 或 “蜂蜜文件” 以及外语翻译技术来制造诱饵,以欺骗潜在的攻击者。但 WE-FORGE 进一步改进了这些技术,使用自然语言处理自动生成多个可信假文件。该系统还添加了随机性元素,以防攻击者轻易识别出真正的文档。

WE-FORGE 可以用来生成许多技术设计文件的伪造版本。当攻击者入侵一个系统时,他们面临的艰巨任务是找出众多类似文档中真的那个。

Subrahmanian 表示:“我们使用这种技术迫使攻击者浪费时间和精力来识别正确的文档。此外,他们对自己找到的结果也是存疑的。”

根据该团队的研究,一项专利可以包含超过 1000 个概念和多达 20 个可能的替代部分。WE-FORGE 最终可能会用来计算在单个技术文档中可替换节点的数百万种可能性。这一系统增加了窃贼在窃取政府或行业机密时所需的成本。

WE-FORGE 算法的工作原理是计算文档中概念之间的相似性,并分析每个单词与文档的相关性。然后,系统将概念分类到堆栈中并为每个组计算可能的候选对象。

Guarini’21 的 Dongkai Chen 表示:“WE-FORGE 也可以从原始文件的作者那里获得输入。人类和机器的聪明才智结合在一起,会让知识产权窃取者付出更多代价。”

作为研究的一部分,该团队伪造了一系列计算机科学和化学专利,并邀请专家来判断哪些文件是真实的。结果表明,WE-FORGE 系统能够 “为每个任务持续生成高度可信的虚假文件。”

与其他工具不同,WE-FORGE 不是简单地隐藏信息而是专门伪造技术信息,比如密码。WE-FORGE 改进了系统的早期版本 FORGE,删除了创建面向特定技术操作的耗时需求,还不确保了假消息之间有更丰富的多样性,并遵循一种改进的方法来选择要替换的部分。

当然,未来还有许多重要的研究方向。比如说,FORGE 和 WE-FORGE 只修改文件的文本部分。但是一个文件可以包含不同类型的相互联系的实体,如数字、流程图和表格,仍需要确保文本的变化在这些类型的实体中得到一致的反映。

这是该研究拓展应用空间的下一步。

Reference:

https://scitechdaily.com/cybersecurity-researchers-build-a-better-canary-trap-using-ai-to-generate-fake-documents//

https://www.semanticscholar.org/paper/A-Fake-Online-Repository-Generation-Engine-for-Chakraborty-Jajodia/9e94ffaff39f6919026e6e50753778d4b37d77cb

2001 年创刊,20 年技术见证 

《新程序员001:开发者黄金十年》 

重磅来袭

扫描下方二维码,添加小助手

即刻加入 AI 科技大本营「读者群」

群内将不定期放送福利

快快加入吧!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技大本营 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
#一周全球互联网安全动态速递#
本周互联网安全领域发生了一件轰动全球的大事——美国输油大动脉遭到黑客勒索攻击,致使全国17州和华盛顿特区宣布进入紧急状态。国家基础设施遭遇网络攻击已成为日趋严重的全球性问题。此外,话题性十足苹果IOS14.5版本已上线,全球约88%的iPhone用户选择不接受广告追踪,广告行业精准投放面临新难题。另外,新型数据保护系统WE-FORGE在美研发,可用于对抗网络黑客攻击;微软开源安全测试工具Counterfit,可用于测试AI和机器学习环境的安全性。 1、美输油大动脉遭黑客攻击 多州进入紧急状态 当地时间5月
腾讯防水墙
2021/05/13
4190
MIT 6.858 计算机系统安全讲义 2014 秋季(一)
2014 年由Nickolai Zeldovich 教授和James Mickens 教授教授授课的 6.858 讲座笔记。这些讲座笔记略有修改,与 6.858 课程网站上发布的内容略有不同。
ApacheCN_飞龙
2024/03/11
3210
如何应对生成式大模型「双刃剑」?之江实验室发布《生成式大模型安全与隐私白皮书》
当前,生成式大模型已经为学术研究甚至是社会生活带来了深刻的变革,以 ChatGPT 为代表,生成式大模型的能力已经显示了迈向通用人工智能的可能性。但同时,研究者们也开始意识到 ChatGPT 等生成式大模型面临着数据和模型方面的安全隐患。
机器之心
2023/08/04
5330
如何应对生成式大模型「双刃剑」?之江实验室发布《生成式大模型安全与隐私白皮书》
【AI安全专题】谁偷了我的模型:机器学习模型水印技术介绍与分析
近年来,人工智能(Artificial Intelligence)技术在生物医疗、金融风控、自动驾驶、网络安全等许多领域被广泛应用。基于数据驱动的机器学习技术在识别与分类等任务上已经具备稳定且精确的效果,在许多具体任务中,基于机器学习技术的方案不光能取得比传统技术方案更好的效果,还可以完成一些传统技术难以完成的任务。训练一个机器学习模型包含了大量工作,往往需要经年累月的投入才能得到高效稳定的成品模型,然而窃取和拷贝他人训练好的机器模型却十分容易[1][2]。为了保护机器学习模型开发者的知识产权,模型水印技术应运而生。
绿盟科技研究通讯
2021/09/27
5.5K0
常见的一些代码安全检查
代码安全是指对软件代码进行有效保护和控制,以防止恶意攻击和数据泄露。代码安全的描述有以下几个目的:
小颜同学
2024/03/18
7230
特别企划 | 网络空间“列国志”:安全领域的政治风云
地图上这一条条线代表的是一场场网络攻击,更是各国利益的争夺。作为一种成本较低,效果好的攻击方式,网络攻击已经成为政治斗争的新战场。 纠纷不断的俄罗斯 作为网络攻击漩涡的中心之一,无论是作为攻击者还是自
FB客服
2018/03/01
1.1K0
特别企划 | 网络空间“列国志”:安全领域的政治风云
网络安全宣传周 - 社会工程
社会工程在网络安全领域正扮演着愈发重要的角色,成为网络安全的新挑战。研究表明,91% 的网络攻击是通过社会工程手段完成的。社会工程攻击利用人类的心理弱点和社交行为,绕过传统的技术防护措施,对个人、企业和国家的网络安全构成严重威胁。例如,常见的网络钓鱼攻击,伪装成银行、学校、软件公司或政府安全机构等可信服务提供者,要求用户提供相关信息,大多数的钓鱼攻击都是通过这种方式获取用户的敏感信息。西工大钓鱼邮件攻击事件就是一个典型的例子,黑客通过以 “科研评审、答辩邀请和出国通知” 为主题的钓鱼邮件,邮件内含木马程序,引诱部分师生点击链接,非法获取师生电子邮箱登录权限,致使相关邮件数据被窃取。
Khan安全团队
2024/11/02
2370
深度学习模型知识产权保护怎么做?看看IJCAI 2021这场Workshop说了什么
机器之心报道 机器之心编辑部 在刚刚结束的 IJCAI 2021 大会上,「深度学习模型知识产权保护国际研讨会(DeepIPR-IJCAI’21)」正式举行,这场研讨会由微众银行、马来亚大学、香港科技大学、上海交通大学共同主办。 机器学习,尤其是深度神经网络(DNN)技术,近年来在诸多领域取得了巨大成功,许多科技公司都将神经网络模型部署在商业产品中,提高效益。训练先进的神经网络模型需要大规模数据集、庞大的计算资源和设计者的智慧。这具体体现在:(1)深度学习模型应用的训练模型规模巨大,以 GPT-3 为例
机器之心
2023/03/29
5880
深度学习模型知识产权保护怎么做?看看IJCAI 2021这场Workshop说了什么
网络安全宣传周 - 手机通过USB接口窃取电脑文件
随着手机和电脑在日常生活与工作中的广泛应用,两者之间的数据交互日益频繁。然而,这种便捷的连接方式也带来了潜在的安全风险,其中手机通过 USB 接口窃取电脑文件的问题逐渐引起关注。
Khan安全团队
2024/08/18
3570
AI 之网:网络诈骗者的 “高科技伪装术”—— 智能诈骗的神秘面纱
在当今数字化时代,人工智能(AI)技术正以前所未有的速度发展和普及。从智能语音助手到图像识别系统,从推荐算法到自动驾驶,AI 已经深入我们生活的方方面面。然而,如同每一项强大的技术一样,AI 也有着其黑暗的一面,它被网络诈骗者所利用,成为了实施诈骗的 “高科技伪装术”,给人们带来了前所未有的挑战。网络诈骗不再是简单的发送虚假邮件或短信,而是通过 AI 的加持,变得更加隐蔽、精准和难以防范。
羑悻的小杀马特.
2025/01/23
1360
各国被黑客泄露的信息都是真的吗?揭秘真相森林中的重重谎言
一、概要 这两年,互联网上涌现了很多政府和企业的敏感数据泄露,但这些由不明行为者泄漏的信息是否准确呢? 前不久,安全研究人员发现了一个复杂的全球性虚假信息泄密活动,据分析,这次虚假泄密与黑客组织APT28之前所从事的网络间谍活动存在“重叠”之处。 APT28又叫Fancy Bear、Sofacy、Sednit或Pawn Storm,是美国民主党全国委员会(DNC)信息泄密事件的幕后主犯。 自2007年以来,APT28一直较为活跃,据称暗中受到俄罗斯政府的支持。虽然没有确凿证据表明俄罗斯政府直接参与虚假泄密,
FB客服
2018/02/28
1.2K0
各国被黑客泄露的信息都是真的吗?揭秘真相森林中的重重谎言
用来批量制作“假脸”,iOS 面部识别数据正在被黑客窃取
2023 年 10 月,针对越南五十余家金融机构进行攻击的安卓银行木马 GoldDigger 浮出水面。通过对其持续跟踪分析,研究人员发现一整套针对亚太地区的银行木马。
FB客服
2024/03/18
3150
用来批量制作“假脸”,iOS 面部识别数据正在被黑客窃取
一文带你了解中间人攻击MITM,从此不做网络的“傀儡”!
中间人攻击(Man-in-the-Middle Attack,简称MITM攻击)是一种常见的网络安全威胁,其目标是在通信过程中拦截和篡改数据。在这种攻击中,攻击者通过将自己置于通信双方之间,可以窃取敏感信息、修改传输数据,甚至完全篡改通信内容。
网络技术联盟站
2025/01/21
9600
一文带你了解中间人攻击MITM,从此不做网络的“傀儡”!
「AI间谍」扰乱美国政坛,间谍用GAN生成假头像,大肆网钓政客大V
对此,Schiff 正在挑战美国《通信规范法》(Communications Decency Act)第 230 条——这可能是当今互联网世界最重要的一条法律:互联网服务不必为其用户的行为负责(正文为:No provider or user of an interactive computer service shall be treated as the publisher or speaker of any information provided by another information content provider. 交互式计算机服务的提供者或使用者,就非出于己的信息内容,不应被视为内容的出版人及发表人)。
CDA数据分析师
2019/06/17
1.1K0
蚂蚁联手上财:揭开AI大模型在金融领域的神秘面纱 读书笔记 - 8
蚂蚁集团联手上海财经大学:揭开AI大模型在金融领域的神秘面纱 读书笔记 - VII 蚂蚁集团联手上海财经大学:揭开AI大模型在金融领域的神秘面纱 读书笔记 - VI 蚂蚁集团联手上海财经大学:揭开AI大模型在金融领域的神秘面纱 读书笔记 - V
用户10675374
2024/11/08
1410
蚂蚁联手上财:揭开AI大模型在金融领域的神秘面纱 读书笔记 - 8
iOS最新漏洞可实现“以假乱真”的iCloud密码钓鱼
近日安全研究人员发布了一份漏洞利用代码。这份代码表明,攻击者可以通过足以以假乱真的钓鱼,轻易窃取使用最新iOS版本的iCloud密码。 漏洞原理 这个概念验证性攻击利用了iOS系统中默认的电子邮件程序Mail.app的一个漏洞。自从4月初iOS8.3版本发布以来,该应用就未能从接收邮件消息中适当剔除含有潜在危险的HTML代码。 这个POC正是利用了这一漏洞,它从远程服务器下载一个表单,该表单看起来与合法的iCloud登录提示窗口完全相同。每当用户查看包含“陷阱”的消息时,这个伪造的登录提示窗都可以自动显
FB客服
2018/02/06
1.3K0
iOS最新漏洞可实现“以假乱真”的iCloud密码钓鱼
什么是网络钓鱼攻击,企业如何加强防范基于AI的网络钓鱼攻击
随着AI技术的快速发展,如ChatGPT等智能化工具在各个领域得到了广泛应用。然而,这些工具的普及也给网络安全带来了新的挑战。AI模型的自然语言生成功能使得网络钓鱼攻击更加智能化和隐蔽化,攻击者能够利用AI技术生成高度逼真的欺骗性邮件和其他内容,从而诱骗受害者泄露敏感信息或执行恶意操作。
德迅杨德俊
2024/05/22
4910
2024年AI威胁场景报告:揭示现今最大的AI安全挑战
AI正彻底改变每一个数据驱动的机会,有可能带来一个繁荣的新时代,让人类的生活质量达到难以想象的高度。但就像任何突破性的新技术一样,伟大的潜力往往蕴含着巨大的风险。
FB客服
2024/04/01
1.4K0
2024年AI威胁场景报告:揭示现今最大的AI安全挑战
AI安全 | 给中文 AI 的100瓶毒药
当人类凝视AI时,AI也在凝视人类。网络安全永远是AI大模型大规模应用及演进过程中不可忽视的核心点。
FB客服
2023/08/08
6010
AI安全 | 给中文 AI 的100瓶毒药
黑客通常在用这 4 种方式攻击你!(内附防御策略)
跨站脚本攻击(Cross-Site Scripting, XSS),可以将代码注入到用户浏览的网页上,这种代码包括 HTML 和 JavaScript。
程序员小富
2020/01/20
8690
黑客通常在用这 4 种方式攻击你!(内附防御策略)
推荐阅读
#一周全球互联网安全动态速递#
4190
MIT 6.858 计算机系统安全讲义 2014 秋季(一)
3210
如何应对生成式大模型「双刃剑」?之江实验室发布《生成式大模型安全与隐私白皮书》
5330
【AI安全专题】谁偷了我的模型:机器学习模型水印技术介绍与分析
5.5K0
常见的一些代码安全检查
7230
特别企划 | 网络空间“列国志”:安全领域的政治风云
1.1K0
网络安全宣传周 - 社会工程
2370
深度学习模型知识产权保护怎么做?看看IJCAI 2021这场Workshop说了什么
5880
网络安全宣传周 - 手机通过USB接口窃取电脑文件
3570
AI 之网:网络诈骗者的 “高科技伪装术”—— 智能诈骗的神秘面纱
1360
各国被黑客泄露的信息都是真的吗?揭秘真相森林中的重重谎言
1.2K0
用来批量制作“假脸”,iOS 面部识别数据正在被黑客窃取
3150
一文带你了解中间人攻击MITM,从此不做网络的“傀儡”!
9600
「AI间谍」扰乱美国政坛,间谍用GAN生成假头像,大肆网钓政客大V
1.1K0
蚂蚁联手上财:揭开AI大模型在金融领域的神秘面纱 读书笔记 - 8
1410
iOS最新漏洞可实现“以假乱真”的iCloud密码钓鱼
1.3K0
什么是网络钓鱼攻击,企业如何加强防范基于AI的网络钓鱼攻击
4910
2024年AI威胁场景报告:揭示现今最大的AI安全挑战
1.4K0
AI安全 | 给中文 AI 的100瓶毒药
6010
黑客通常在用这 4 种方式攻击你!(内附防御策略)
8690
相关推荐
#一周全球互联网安全动态速递#
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档