【顶会论文分享】BARS：基于深度学习的流量分析系统的鲁棒性认证

一. 引言

深度学习技术被广泛应用于各种流量分析系统，如网络入侵检测系统、概念漂移流量检测系统、流量多分类系统等。然而深度学习在面对攻击数据时易受数据扰动影响，这将导致流量分析器的检测性能下降。本篇研究集中解决基于深度学习模型的鲁棒性认证问题。

本文介绍一篇来自Network and Distributed System Security Symposium (NDSS) 的文章《BARS: Local Robustness Certification for Deep Learning based Traffic Analysis Systems》[1]，它是一种基于边界自适应随机平滑的深度学习流量分析系统的通用鲁棒性认证框架，旨在提高基于深度学习流量分析系统的鲁棒性能力。

二. 模型框架

深度学习的流量分析系统的以下三个属性，使得鲁棒性认证方法具有挑战性：

（1） 流量特征具有高度异构性；

（2） 流量分析器的模型设计多样；

（3） 流量分析器通常运行在对抗环境中；

BARS的提出可以很好的解决上述问题，其核心思想是生成优化的平滑噪声，该噪声在异构特征下收敛于分类边界，并提供严格的鲁棒性保证。BARS的整体框架如图1所示。

图1 BARS框架图

图1左侧表示在三个实用的基于深度学习的流量分析系统上进行BARS的实现与评估，分别是Kitsune(零正NIDS)、CADE（概念漂移检测系统）、ACID (监督多分类系统)。

中间部分为BARS的基本框架，分为训练阶段和认证阶段。分布变换器是一个参数化模型，可以将各向同性的经典噪声分布转换为各向异性的优化噪声分布，并提供维度异构鲁棒性保证。为优化平滑噪声，对其使用特殊分布函数的叠加，并使用基于梯度的算法搜索其参数，以优化噪声形状和优化噪声强度。

图1右侧部分展示了五个实际案例，表明安全操作员可以通过使用BARS定量评估鲁棒性，减少误报，意识到逃避攻击，防御逃避攻击，并解释基于深度学习流量分析系统的攻击检测。

三. BARS设计细节

3.1

构建分布变换器

通过分布变换器模型将各向同性的经典平滑噪声转换为各向异性的优化平滑噪声使得在流量分析领域提供严密的鲁棒性保证。如图2所示，中间彩色模块是分布变换器，不同颜色的模块作用于不同特征，每个模块将左侧的各向同性的经典平滑噪声转换为右侧的各向异性的优化平滑噪声。

图2 分布变换器

鲁棒性保证的紧密性取决于噪声分布尺度和噪声分布函数，为保证较强鲁棒性本文提出两种分布变压器，一种是线性的，称为BARS-L；另一种是对分布变换器采用分布函数，称为BARS-G。

3.2

优化噪声分布

该部分主要包括噪声形状优化和噪声强度优化。

首先基于梯度优化噪声形状，生成尽可能靠近分类边界的特征噪声。举个二维特征例子如图3，通过优化参数最终使得错误分类的噪声样本（上和下）向正确的决策区域移动，使正确分类的噪声样本（左和右）向错误的决策区域移动，通过此方法使得噪声样本在多维上接近分类边界。

图3 优化噪声形状

文章提出基于梯度的优化噪声尺度的搜索算法，图4给出了噪声尺度优化的详细过程。

图4 优化噪声尺度

3.3

BARS实际应用

在使用BARS对流量分析器进行应用时，需要进行如下处理：

（1） 过滤掉不可预见的类，对于未预见类别的样本没必要证明其局部鲁棒性。

（2） 对于多类数据集，设置类特定的分布变换器。

（3） 用噪声数据增强对流量分析器进行再训练以提高性能和鲁棒性。

（4） 为定量描述认证数据集下流量分析器的鲁棒性，可以将维度异构鲁棒性半径扩展到数据集的均值（MRR）。即MRR越大流量分析系统鲁棒性越强。

四. 实验评估

4.1

数据集介绍

在以下三种基于深度学习的流量分析器中进行BARS性能的评估：Kitsune（零正NIDS）、CADE（概念漂移检测系统）和ACID（监督多分类系统）。实验数据如表1。

表1 实验数据集

4.2

稳健性评估

实验基于认证精度和稳健性半径的流量分析器比较了BARS与基线方法稳健性保证紧密性。

在CROWN-IBP、α-CROWN、β-CROWN中，为了绘制完整的曲线，需要在不同的扰动下多次运行它们（本文中为100次）。

实验结果如图5所示。在所有经过认证的基于DL的流量分析器中，BARS显著优于基线方法。另外，由于特征噪声的叠加分布，BARS-G的性能优于BARS-L。

图5 各流量分析系统中不同稳健性认证方法的认证精度和稳健性半径

4.3

延迟性评估

实验中实时认证效率决定了运营商能否快速响应攻击活动。实验比较了三个流量分析器使用BARS与其他基线方法的认证延迟和MRR。

实验结果如表2所示。发现BARS认证延迟低于除V.R.S.外的所有基线方法，BARS相比于V.R.S.使用了优化的噪声分布。另外，随着特殊分布数量的增加，BARS-G的认证延迟也会增加。

表2流量分析系统在不同鲁棒性认证方法的认证延迟比较

4.4

定量评估稳健性

以Kitsune为例，实验结果如图6，F1值是性能的体现，MRR是鲁棒性的体现，图中反应了F1值与MRR随着阈值设置大小的变化。因此在进行阈值的选择时需同时考虑性能和鲁棒性。

图6 Kitsune在不同检测阈值下的MRR 和 F1得分

五. 总结

深度学习作为人工智能领域的核心组成，其鲁棒性一直是研究和应用的重要课题。本文介绍了一种基于深度学习技术的流量分析系统的通用鲁棒性认证框架BARS，通过分布变压器产生优化噪声，再使用两种基于梯度的算法优化噪声形状和强度，实现了在深度学习流量分析系统上的鲁棒性评估。希望读者能够通过此文深度思考深度学习模型鲁棒性在安全领域应用问题，并探索实际落地中的挑战和解决方案。

参考文献

【1】Wang K, Wang Z, Han D. BARS: Local Robustness Certification for Deep Learning based Traffic Analysis Systems. Network and Distributed System Security Symposium.

内容编辑：创新研究院 薛甜 责任编辑：创新研究院 舒展

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。