如何在供应链中隐藏神经网络芯片

计算机研究人员设计了一种潜在的基于硬件的特洛伊木马攻击神经网络模型，可以用来改变系统输出而无需检测。

由于面向人工智能的系统日益普及，近年来对神经网络和相关深度学习系统的敌对攻击受到了相当大的关注。

研究人员 - 博士生Joseph Clements和美国克莱姆森大学电子与计算机工程助理教授Yingjie Lao说，他们提出了一种新的威胁模型，攻击者可以恶意修改供应链中的硬件来干涉机器学习模型的输出在设备上运行。

专注于供应链的攻击似乎很少见。2014年，有报道表明美国国家安全局参与供应链拦截，拦截过境硬件和插入后门。最近，微软去年在软件工具上重申了供应链攻击。

Clements和Lao认为，集成电路设计涉及到许多不同的公司 - 电路设计师，电路制造商，第三方知识产权许可公司和电子设计自动化工具供应商 - ，因此供应链安全变得难以管理。

不可信

他们在论文中解释说：“在制造过程中，硬件木马可以通过不可信的半导体代工厂或通过整合不可信的第三方IP而插入到设备中。” “此外，代工厂甚至设计师可能会受到政府的压力，恶意操纵海外产品的设计，然后可能会被武装化。”

研究人员解释说，这种欺骗的目的是引入隐藏的功能 - 木马芯片电路。恶意代码会指示神经网络以特定的方式对选定的输入触发进行分类，同时在测试数据中仍然不可检测。

“例如，一个能够从特定药剂的过度或不当销售中获益的对手可以在使用神经网络模型诊断患者的设备上注入硬件木马，”他们表示。“攻击者可能会导致设备误诊选定的患者以获得额外的利润。”

他们声称他们能够通过在七层卷积神经网络的一层中仅改变0.03％的神经元来对其方案进行原型设计。

克莱门茨和老挝表示，他们认为对抗训练与硬件木马检测相结合，是防御其威胁场景的有前途的方法。敌对培训会增加网络神经元的数量，这些网络神经元将不得不被改变以注入恶意行为，从而使得该木马有足够大的可能性来检测。

卡内基梅隆大学人机交互研究所副教授Jeff Bigham 在给The Register的一封电子邮件中表示，所提出的攻击利用了机器学习算法的不透明性。

“如果我们真的不知道为什么机器学习算法做出决定，那么很容易隐藏修改，这会改变对某些输入的预测，”他说。

Bigham认为人们应该关注所提出的攻击的程度取决于威胁模型和颠覆的替代方法。

“他们所说的硬件芯片目前正在不可完全信任的地方生产，几乎肯定是这样，”他说。

“在某些情况下，他们关于将模型发送到生产设施以创建定制芯片的假设可能是正确的，但考虑到运行模型往往比训练模型快得多，我不清楚它有多重要把这个直接放在硬件上。

“在实践中，似乎实际上会发生的是，这些模型将在商用硬件上运行，如果没有访问权限和事先知道运行哪种模型的方式，那么执行它们的攻击似乎就会困难得多。”

Bigham说这是一个潜在的有趣攻击媒介，尽管他不确定神经网络在威胁的有效性方面的重要性。