今日分享一篇AI对抗攻击领域论文『Optical Adversarial Attack』 ，由普渡大学学者提出：OPAD，是对人为刻意制造的光照分布对目标分类器进行攻击的研究，想法奇特，性能有效。
详细信息如下：
论文链接：https://arxiv.org/pdf/2108.06247
01
引言
该论文的创新点很奇特是关于光学对抗攻击类的文章，即通过人为刻意制造的光照分布从而对目标分类器进行攻击，而无需实际接触对象。作者在论文中提出的方法其原理是使用结构化照明来改变目标对象的外观。该系统由一台低成本投影仪、一台摄像机和一台计算机组成。作者将投影仪-摄像机模型纳入对抗性攻击优化中，由此导出了新的攻击公式。
实验结果也证明了该方法的有效性，可以在白盒、黑盒、目标和无目标攻击的背景照明下对真实3D对象进行光学对抗攻击。作者也从理论上分析了用于量化系统的基本性能极限。
02
投影仪-照相机模型
令表示的是一个二维图像，发送到投影仪的源照明图案的第个像素表示为
整个源图像表示为
{\bf{f}}=[\boldsymbol{f}(x_1),\boldsymbol{f}(x_2),\cdots,\boldsymbol{f}(x_N)]^{\top}\in \mathbb{R}^{3N}, 其中表示的是图像像素得个数。源图像通过投影仪投影出来的图像表示为
{\bf{g}}=\mathcal{T}({\bf{f}}), 其中表示被观察到的图像，映射函数为。在特定的像素的映射被定义为，并且有
\boldsymbol{g}(x)=\mathcal{T}^{(x)}(f(x)), 进一步简化可以写成。
第一个组件是投影仪的辐射响应组件，具体示意图如下所示。源图片的像素点经投影仪非线性变换会改变每个通道的密度，函数将源图像信号转化为光学信号，具体公式为
z(x)\stackrel{\mathrm{def}}{=}\left[\begin{array}{l}z_R(x)\\z_G(x)\\z_B(x)\end{array}\right]=\left[\begin{array}{l}\mathcal{M}_R(f_R)\\ \mathcal{M}_G(f_G)\\\mathcal{M}_B(f_B)\end{array}\right]=\mathcal{M}(f(x))
第二个组件是投影仪的光谱响应组件，具体示意图如下所示。投影仪使用颜色转换将转换为，具体的公式如下所示：
\boldsymbol{g}(x)=\boldsymbol{V}^{(x)}z(x)+\boldsymbol{b}^{(x)},
其中是一个的混合矩阵，具体定义为
\boldsymbol{V}^{(x)}=\left[\begin{array}{lll}\boldsymbol{V}^{(x)}_{RR} & \boldsymbol{V}^{(x)}_{RG} & \boldsymbol{V}^{(x)}_{RB}\\ \boldsymbol{V}^{(x)}_{GR} & \boldsymbol{V}^{(x)}_{GG} & \boldsymbol{V}^{(x)}_{GB}\\
\boldsymbol{V}^{(x)}_{BR} & \boldsymbol{V}^{(x)}_{BG} & \boldsymbol{V}^{(x)}_{BB} \end{array}\right] 向量表示的是光照的偏置项，它被定义为.
假定输入的图像为，则最终观察到的输出为
\mathbf{g}=\underbrace{\mathbf{V} \mathcal{M}(\mathbf{f})+\mathbf{b}}_{\mathcal{T}(\mathbf{f})}
其中是一个对角矩阵
\mathbf{V}=\operatorname{diag}\left\{\boldsymbol{V}^{\left(x_{1}\right)}, \boldsymbol{V}^{\left(x_{2}\right)}, \ldots, \boldsymbol{V}^{\left(x_{N}\right)}\right\} \in \mathbb{R}^{3 N \times 3 N}
是整体的偏置项
03
算法
算法是一种元程序，它可以嵌入到任何一个现有的最大化类型的对抗损失中。如下图所示，中的损失最大化不同于传统图像数字对抗攻击。传统的对抗攻击是将对抗扰动直接加在输入图像中。在中，输入的是均匀的光照，而且对抗扰动是直接加在光照空间中。
OPAD损失最大化
作者主要以有目标白盒攻击为例，其它形式的攻击可以相似形式进行扩展。考虑一个均匀光照图像，干净的样本则为。主要目标是使得分类器将标签分类出错为指定的标签，具体公式如下所示：
\begin{aligned}\delta&=\mathrm{argmax}_{\delta} \mathcal{L}(\mathcal{T}({\bf{f}+\delta}),\ell_{target})\\&=\mathrm{argmax}_{\delta}\mathcal{L}({\bf{V}\mathcal{M}}({\bf{f}+\delta})+{\bf{b}},\ell_{target})\end{aligned}
在大多数传统的对抗攻击方法中，对抗扰动在输入空间中被约束，以确保扰动不会过大。在该论文中，对抗扰动的约束分为两部分：
扰动照明必须是物理上可以实现的，这意味着需要满足如下约束，
0 \leq {\bf{b}}_0 + \delta \le 1 对抗扰动的约束在投影仪的输出空间中进行约束，使得看到对抗样本图像与真实样本差距不大，具体的公式如下所示： \|\underbrace{\left(\mathbf{V} \mathcal{M}\left(\mathbf{f}_{0}\right)+\mathbf{b}\right)}_{\stackrel{\text { def }}{=} \mathbf{g}_{0}}-\underbrace{\left(\mathbf{VM}\left(\mathbf{f}_{0}+\boldsymbol{\delta}\right)+\mathbf{b}\right)}_{\stackrel{\text { def }}{=} \mathbf{g}}\|< \alpha
将这些约束条件加入到公式中，通过求解优化得到对抗扰动
\begin{aligned}
\boldsymbol{\delta}^{*}=& \operatorname{argmax}_{\delta} \mathcal{L}\left(\mathbf{V} \mathcal{M}\left(\mathbf{f}_{0}+\boldsymbol{\delta}\right)+\mathbf{b}, \ell_{\text {target }}\right) \\
& \text { subject to } \\
&\left\|\left(\mathbf{V} \mathcal{M}\left(\mathbf{f}_{0}\right)+\mathbf{b}\right)-\left(\mathbf{V} \mathcal{M}\left(\mathbf{f}_{0}+\boldsymbol{\delta}\right)+\mathbf{b}\right)\right\|<\alpha \\
& 0 \leq \mathbf{f}_{0}+\boldsymbol{\delta} \leq 1 .
\end{aligned}
04
优化问题简化
求解如上优化问题是比较困难的，但是可以对上问题进行简化，简化过后的公式
\begin{gathered}\boldsymbol{\eta}^{*}=\underset{\eta}{\operatorname{argmax}} \quad \mathcal{L}\left(\mathbf{g}_{0}+\boldsymbol{\eta}, \ell_{\text {target }}\right) \\
\text { subject to } \quad\|\boldsymbol{\eta}\|<\alpha, \\
0 \leq \mathbf{f}_{0}+\boldsymbol{\delta} \leq 1 .
\end{gathered} 其中对抗扰动满足如下约束条件
\Omega=\left\{\boldsymbol{\eta} \mid \boldsymbol{\eta}=\mathbf{V} \mathcal{M}\left(\mathbf{f}_{0}+\boldsymbol{\delta}\right)-\mathbf{V} \mathcal{M}\left(\mathbf{f}_{0}\right), \quad \boldsymbol{c}_{\ell} \leq \boldsymbol{\delta} \leq \boldsymbol{c}_{u}\right\}
进而可以得到最终的优化目标和约束条件，如下所示
\begin{aligned}
\boldsymbol{\eta}^{*}=& \underset{\boldsymbol{\eta} \in \Omega}{\operatorname{argmax}} \mathcal{L}\left(\mathbf{g}_{0}+\boldsymbol{\eta}, \ell_{\text {target }}\right) \\
& \text { subject to } \quad\|\boldsymbol{\eta}\|<\alpha
\end{aligned} 05
OPAD程序
如果忽略约束集，则本论文提出的方法就是一个标准的基于梯度的对抗攻击，其迭代更新公式可以写为：
\boldsymbol{\eta}^{t+1}=\mathrm{my} \operatorname{attack}\left(\mathbf{f}_{\mathbf{0}}, \boldsymbol{\eta}^{t}, \ell\right)
其中表示基于梯度攻击方式的一种。如果使用的是带有的攻击，则有
\boldsymbol{\eta}^{t+1}=\alpha \cdot \operatorname{sign}\left\{\nabla \mathcal{L}\left(\boldsymbol{g}_{0}+\boldsymbol{\eta}^{t}, \ell_{\text {target }}\right)\right\}
在约束集存在的情况下, 每次迭代更新将涉及一个投影：
\boldsymbol{\eta}^{t+1}=\operatorname{Project}_{\Omega}\{\underbrace{\operatorname{my} \operatorname{attack}\left(\mathbf{f}_{\mathbf{0}}, \boldsymbol{\eta}^{t}, \ell_{\text {target }}\right)}_{=\boldsymbol{\eta}^{t+\frac{1}{2}}}\}
投影操作将当前估计从输出空间反转到输入空间，并在输入空间中进行剪裁。然后，将信号重新映射回输出空间。在数学上，投影定义为
\operatorname{Project}_{\Omega}\left(\boldsymbol{\eta}^{t+\frac{1}{2}}\right)=\mathcal{T}\left(\left[\mathcal{\mathcal { T }}^{-1}\left(\mathbf{g}_{0}+\boldsymbol{\eta}^{t+\frac{1}{2}}\right)\right]_{[0,1]}\right)-\mathbf{g}_{0}
其中表示前向映射，表示截取操作。
06
理解OPAD的几何原理
作者通过考虑线性分类器来分析的基本极限。考虑一个具有真实标签的二元分类问题。作者假设是线性的，因此可以给出预测标签
\widehat{\ell}_{\text {predict }}=h\left(\mathbf{g}_{0}\right)=\operatorname{sign}\left(\boldsymbol{\theta}^{T} \mathbf{g}_{0}\right)
其中表示分类器的参数。表示的是干净的图像，其损失函数可以表示为
\mathcal{L}_{\boldsymbol{\theta}}\left(\mathbf{g}_{0}, \ell_{\text {true }}\right)=-\ell_{\text {true }} \cdot \boldsymbol{\theta}^{T} \mathbf{g}_{0}
假定对抗样本为，则损失损失函数可以为
\mathcal{L}_{\boldsymbol{\theta}}\left(\mathbf{g}, \ell_{\text {target }}\right)=-\ell_{\text {target }} \cdot \boldsymbol{\theta}^{T}\left(\mathbf{g}_{0}+\boldsymbol{\eta}\right)
进一步可以得到优化目标为
\begin{gathered}
\boldsymbol{\eta}^{*}=\underset{\boldsymbol{\eta}}{\operatorname{argmax}}-\ell_{\mathrm{target}} \cdot \boldsymbol{\theta}^{T} \boldsymbol{\eta}, \\
\text { subject to } \boldsymbol{\eta} \in \Omega, \underbrace{\|\boldsymbol{\eta}\| \leq \alpha}_{\Psi^{\text {def}}_{=}\{\boldsymbol{\eta} \mid\|\boldsymbol{\eta}\|<\alpha\}}
\end{gathered} 因此分析算法，只需要去分析，，和神经网络的参数。
条件约束的几何结构 有两个约束条件，第一约束条件表示的是在里面。另一个约束条件是。考虑一个某物体处的一个像素点，则该像素的三个通道分别是。在经过投影仪-照相机模型后，观察到的像素点变为。由下图所示，给出了两个像素点之间的相关映射，将原始空间中的正方体映射为另一个空间的长方体。
OPAD什么时候会失败
的可行区域由以下两个因素决定：一个是和另一个是的边界。如下图所示，给定一个干净的分类器，将空间划分为两个半空间。正确的类别是类别1。为了将分类从类1移动到类0，必须沿着可行方向进行搜索，其中蓝色区域即可优化的可行区域，如果可行区域面积很小的时候，则攻击就极有可能失败如下图的左半图所示。
OPAD不能做到不可察觉
作者坦言，由于光照攻击的特殊性，不能做到对抗扰动的不可察觉性。与数字攻击不同，数字攻击距离由决策边界决定，中的最小扰动量由决策边界和光学系统决定。扰动必须通过投影仪的辐射响应和场景的光谱响应，更不用说衍射和失焦等其他光学限制。对于粗糙的表面，如果可行集，当目标很小时，别无选择，只能增加扰动强度。
07
实验结果
作者首先对四个真实的3D对象分别是泰迪、羊毛衫、篮球和马克杯进行定量实验，如下图所示，对于每个对象，作者生成种不同的目标攻击：种不同的目标类分别是斗篷、牛仔、威士忌壶和羊毛，种不同的约束分别是和，和个不同的分类器分别是-和-。用于所有的攻击中，其中参数设置为0.050。下图还展示了真实3D对象的光照对抗样本的示意图。
OPAD应该有多强
作者做了一个实验来了解是如何不易察觉的。目标是想把“书”变成“漫画书”或“椒盐卷饼”。对于这两个目标，作者进行了次攻击。可以看到一个较小的对于“漫画书”来说就可以攻击成功，而一个较大的对于“椒盐卷饼”来说才可以攻击成功。在这两种情况下，虽然对抗扰动不是太强，但是仍然肉眼可见。
限制的意义 作者将注意力转移到约束空间上，因为正是这个约束使光照对抗攻击这个问题变得特别。如下图所示为真实3D衬衫攻击情况，作者在-16上发起了一次白盒攻击。结果表明，如果忽略该约束，将生成包含无法实现的颜色的图案。相反，当包括该约束条件，则可以更好的生成符合真实场景的对抗扰动。
鲁棒性分析 作者使用不同的相机位置和缩放来捕捉场景。首先对停车标志生成成功的攻击，该标志被归类为“限速60”。然后将相机对于停车标志的位置转换为。还通过放大和缩小来捕捉场景。结果表明，直到对象被长距离缩的很小，否则攻击仍然有效。
END
