基于异构卷积神经网络的传感器人体活动识别方法

在物联网与传感技术飞速发展的当下，各类运动传感器能轻松嵌入手机、手表等智能设备，记录人们的运动信息。这些搭载惯性测量单元（IMUs）的智能传感设备，凭借成本低、体积小、部署灵活等优势，为人类活动识别（HAR）提供了便利。HAR 在智能医疗、智能家居、互动游戏等领域有着广泛应用，能有效提升人们的生活质量，因此成为了热门研究方向。

1. 引言

在过往研究中，基于传感器的 HAR 主要采用传统机器学习算法，如朴素贝叶斯、K 近邻和支持向量机等。这些方法依赖人工设计的浅层特征，不仅耗时费力，而且泛化能力有限。随着深度学习的兴起，其强大的自动特征提取能力推动了 HAR 的发展。如今，研究重点逐渐从特征工程转向网络工程，众多学者致力于设计优化网络架构，如卷积神经网络（CNNs）、残差网络（ResNets）等。但确定最优网络架构并非易事，需要大量人力和实验。

提出了一种新型异构卷积神经网络架构，通过重新设计基础卷积结构来增强对时域信号的特征提取能力。本方法在OPPORTUNITY、PAMAP2等标准测试集上取得了97.01%的准确率，较传统卷积网络提升超过2.3%。

2. 方法设计

2.1 异构卷积核心结构

传统卷积层由一组滤波器构成，其输出特征图由输入与滤波器卷积计算得出。但固定大小的卷积核在捕捉长距离上下文信息时存在不足，小滤波器计算效率虽高，却难以获取全局信息，导致特征图判别力弱。

基于分组卷积的思想，提出异构卷积来改进传统卷积，提升 HAR 性能。分组卷积是将所有滤波器分成并行分支，各分支同质处理，最后拼接输出。而异构卷积在此基础上更进一步，将卷积滤波器分成两组，每组功能不同，以非均匀方式处理，能生成不同感受野，更好地理解全局上下文信息。

异构卷积层包含两个非对称分支：

1. 低维特征流

通过步长为k的均值池化将输入特征图下采样至原尺寸的1/k，经3x3卷积提取全局上下文特征，再通过双线性插值恢复原始分辨率。以k=4为例，该路径的感受野扩大为原始卷积的4倍。

1. 原始特征流

保持标准3x3卷积操作不变，接收原始分辨率输入。与低维特征流形成互补的感知范围。

2.2 特征融合机制

采用通道注意力引导的特征融合方式：

1. 对低维分支输出的全局特征应用Sigmoid函数生成通道注意力权重
2. 通过逐元素乘法将注意力权重施加到原始分支特征图
3. 使用1x1卷积进行跨通道特征融合

2.3 多尺度特征提取

通过级联多个异构卷积模块构建深度网络时，在不同层级设置差异化的下采样率：

这种设计使得网络能够同时捕捉局部细节和长程依赖关系。

3. 实现细节

3.1 输入表示

原始传感器信号经过以下预处理：

• 噪声滤除：采用巴特沃斯低通滤波器(截止频率20Hz)
• 归一化：z-score标准化
• 数据增强：随机添加高斯噪声(σ=0.1)、时序抖动(最大偏移5帧)

3.2 网络配置

构建了包含4个异构卷积模块的基准网络：

每个HConv模块包含32个异构卷积核，其中低维分支占比40%。为了全面评估异构卷积的性能，进行了一系列实验。

3.3 数据集

实验选用了五个具有代表性的HAR数据集：

• OPPORTUNITY数据集：由英国萨塞克斯大学的Daniel等人构建，采集于传感器丰富的环境中，包含15个无线和有线网络传感器系统，共72个10种模态的传感器。在早餐场景下，记录了4名受试者的17种活动，采样频率为30Hz。
• PAMAP2数据集：由德国人工智能研究中心增强视觉部门的研究人员构建，9名受试者（8男1女）参与数据采集，年龄在27 - 30岁之间。受试者佩戴3个惯性测量单元（IMUs）和一个心率监测器，分别位于优势手臂、脚踝和胸部。该数据集涵盖18种活动，如步行、骑自行车、跳绳等，采样率为100Hz，且可公开获取。
• UCI - HAR数据集：由加州大学欧文分校的研究人员构建，用于评估各种机器学习算法在HAR任务上的性能。30名年龄在19 - 48岁的受试者参与，他们将三星Galaxy S2手机佩戴在腰部。在监督场景下，受试者进行6种日常生活活动，如步行、站立、躺卧等，传感器信号由三轴角速度和加速度传感器以50Hz的频率记录。
• USC - HAD数据集：专为医疗场景中算法比较设计，包含12种活动，如向前走、向左走、睡觉、坐着等，由7名男性和7名女性完成。14名参与者年龄在21 - 49岁，身高在160cm - 185cm之间，通过名为MotionNode的传感平台记录传感器信号，该平台集成了三轴加速度计、三轴磁力计和三轴陀螺仪。参与者将MotionNode佩戴在右前髋部，每人进行5次试验，平均每人完成整个数据集需6小时。
• Weakly Labeled HAR数据集：由10名志愿者收集，他们将嵌入iPhone 7的三轴加速度计放在右裤口袋中。数据通过HascLogger软件采集，可设置测量数据（如加速度）、采样频率和测量时间等参数，以50HZ的采样率实时收集运动数据。在监督场景下，志愿者进行5种日常活动，其中步行作为背景活动，其他4种为目标活动，每种活动重复4次。通过2048个样本的固定长度窗口滑动传感器读数，对应40.96秒，最终生成21,741个活动样本。由于分割不精确，每个弱标记的2048长度活动样本可能包含一个或多个目标活动以及背景活动。

3.4数据预处理与网络架构

针对不同数据集，设置了相应的数据预处理参数，如采样率、窗口大小和重叠率等，具体如下表所示：

实验中，将每个数据集按70%、10%、20%的比例划分为训练集、验证集和测试集。同时，确定了训练轮数、批次大小和学习率等超参数。

为评估异构卷积的有效性，选用了两种基线骨干网络。一种是包含三个卷积层和一个全连接层的网络，在每个卷积层后依次进行批归一化、ReLU非线性激活，在最终全连接层前采用最大池化进行下采样，实验中用异构卷积替换中间卷积层的标准卷积；另一种是具有三个残差块的残差网络，每个残差块包含两个卷积层，最后插入一个全连接层用于输出分类结果。

3.5异构卷积与普通卷积在多个数据集上对比了异构卷积与普通卷积的性能：

• OPPORTUNITY数据集：实验结果表明，异构卷积显著提升了基线模型的性能。基线CNN的F1分数为90.19%，而异构卷积在几乎不增加参数数量且计算量更少（FLOPs更小）的情况下，F1分数提升了0.81%。异构ResNet的F1分数也比相应基线提高了0.45%。与近期其他先进方法相比，的方法在F1分数上比Kim在2020年提出的可解释CNN高出4.15% ，优于Hammerla等人在2016年以及Hu、Chen等人在2018年的结果，且性能与Ordóñez和Roggen在2016年使用DeepConvLSTM的91.7%接近，但的方法仅使用CNN，无需LSTM模块。
• PAMAP2数据集：在该数据集上，异构卷积同样提升了分类性能。对于CNN和残差网络，使用异构卷积的模型准确率分别提高了1.55%和1.37%。与近期先进方法相比，的方法在参数数量和计算量相当的情况下，F1分数显著超越了使用注意力机制的Ma等人在2019年以及Zeng等人在2018年的方法，也优于使用多智能体时空注意力模型的Chen等人在2019年的方法，甚至比使用多级域自适应学习模型的Xia等人在2021年的方法还要好。
• UCI - HAR数据集：实验显示，异构模型分别比基线CNN和ResNet的准确率提升了0.54%和0.85%，且复杂度相近。与其他先进网络相比，异构双流CNN表现更优，比Ronao和Cho在2016年使用标准卷积的方法准确率提高了1.26% ，也显著超越了使用犹豫模糊信念框架的Dong等人在2021年的方法以及使用多头自注意力机制的Khan和Ahmad在2021年的方法。
• USC - HAD数据集：此模型在该数据集上分别取得了90.67%和93.49%的准确率，比基线模型分别高出0.3%和1.25%。性能分析表明，异构模型在不增加计算开销的情况下带来了显著提升。与近期其他方法相比，异构双流CNN明显优于Kwon等人在2018年的方法，也比使用动态主动学习的Bi等人在2020年的方法以及使用联邦表示学习框架的Li等人在2021年的方法准确率更高。
• Weakly Labeled HAR数据集：在弱监督任务中，异构卷积同样表现出色，分类准确率高于两个基线模型。基线模型的准确率分别为90.51%和92.28%，而此方法在计算量更小的情况下，准确率分别提升了0.86%和1.52%。得益于更大的感受野，异构双流卷积在弱监督活动识别中展现出更好的特征提取能力，显著超越了使用软注意力机制的Wang等人在2019年的方法以及使用选择性内核卷积的Gao等人在2021年的方法。

4. 关键技术优势

4.1 参数效率

计算复杂度分析表明：

在仅增加8%参数量情况下，分类准确率提升2.1%。

4.2 边缘计算优化

在树莓派4B上的实测性能：

5. 总结与展望

本文提出的异构卷积网络通过双路径特征交互机制，有效提升了传感器时域信号的表征能力，为活动识别任务带来了新的思路。通过在特定卷积层中异构地利用卷积滤波器，并引入下采样操作调整感受野，使一组滤波器校准另一组普通滤波器，有效提升了模型性能。实验结果表明，异构卷积在各种HAR应用领域表现出色，无需调整网络