提高人类活动识别准确性的新方法：空间注意力与遗传算法的结合

一、前言

人类活动识别（Human Activity Recognition, HAR）是环境计算和情境感知计算领域中一个重要的研究主题。随着智能手机和可穿戴设备的普及，HAR在诸如智能监控系统、健康护理、异常行为检测以及人机交互等多个领域变得越来越重要。HAR的目标是通过分析从各种传感器获得的数据来识别个体正在进行的活动。

在HAR中，有两种主要的方法来从传感器数据中识别活动：基于视觉的方法和基于可穿戴传感器的方法。视觉方法通过分析使用摄像头捕获的视频或图像来识别和分类活动，但这些方法存在一些局限性，如环境光线、摄像机位置、潜在障碍物以及隐私侵犯等问题。而基于可穿戴传感器的方法则更有前景，因为这些传感器易于使用、体积小、对被测对象的侵入性小，并且安装成本和能耗低。

尽管如此，从时间序列信号中捕捉时间和频率关系为自动HAR提供了固有的障碍。从传感器读取序列的特征空间中提取时空上下文是当前循环、卷积或混合活动识别模型所面临的挑战。这些模型产生的大型特征映射也影响了整体分类准确性。

为了解决这些问题，本文提出了一种基于可穿戴传感器数据的HAR混合架构。首先使用连续小波变换（Continuous Wavelet Transform, CWT）对传感器数据的时间序列进行编码，将其转换为多通道图像。然后，利用空间注意力辅助的卷积神经网络（CNN）提取更高维度的特征。为了找到识别人类活动最本质的特征，开发了一种新的特征选择（Feature Selection, FS）方法。首先采用三种基于过滤器的方法：互信息（Mutual Information, MI）、Relief-F和最小冗余最大相关性（minimum redundancy maximum relevance, mRMR）来评估特征的适应度。然后，通过修改版的遗传算法（Genetic Algorithm, GA）移除排名较低的特征来选择最佳特征集。最后使用K-最近邻（K-Nearest Neighbors, KNN）分类器对人类活动进行分类。通过在五个知名的公共HAR数据集上的全面实验，证明了该模型在分类性能上显著优于现有的最先进模型。同时，观察到使用基于GA的特征选择技术在降低特征数量的同时，提高了整体识别准确性。

二、相关工作

在过去的几年中，深度学习模型在人类活动识别（HAR）领域取得了显著的成就，研究人员开发了多种基于深度学习的模型，这些模型利用卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）等技术来处理时间序列数据。

1.深度学习在HAR中的应用

1. CNN模型：卷积神经网络在图像识别领域取得了巨大成功，研究人员尝试将其应用于时间序列数据的特征提取。例如，通过将时间序列数据转换为图像（如通过小波变换），然后使用CNN进行识别。
2. RNN和LSTM模型：RNN特别是LSTM由于其处理序列数据的能力，在HAR中被广泛使用。LSTM能够学习数据中的长期依赖关系，适用于处理来自可穿戴/惯性传感器的时间序列数据。
3. 混合模型：结合CNN和RNN或LSTM的方法进一步提高了识别准确性。这些混合模型可以同时提取时间序列的时空特征。

2.时间序列数据的图像表示

1. Gramian Angular Field (GAF) 和 Markov Transition Field (MTF) ：这些方法通过将时间序列数据转换为图像，使得可以使用CNN等图像识别技术进行分类。
2. Recurrence Plots：另一种表示时间序列数据的方法是使用递归图，这可以帮助捕获数据的动态特征。
3. 短时傅里叶变换（STFT）：通过将传感器信号编码为频谱图（即短时傅里叶变换的结果），可以作为CNN模型的输入。

3.特征选择技术

1. 包装器方法：这类方法使用学习算法（如分类器）来评估特征子集的质量，并选择最佳子集。
2. 过滤器方法：与包装器方法不同，过滤器方法基于统计技术评估特征的重要性，不依赖于特定的学习算法。
3. 遗传算法（GA）：GA是一种元启发式搜索算法，用于解决特征选择等优化问题。GA通过模拟自然选择过程中的交叉、变异和遗传机制来搜索最优解。

在这些研究中，特征选择被证明是提高HAR系统性能的关键步骤。选择合适的特征不仅可以提高分类的准确性，还可以减少计算资源的使用，提高系统的实时性。

尽管已经有许多方法被提出来提高HAR的准确性，但如何有效地从大量可能的特征中选择出最有用的特征仍然是一个挑战。此外，如何将深度学习技术与特征选择技术结合起来，以进一步提高HAR的性能，也是当前研究的热点之一。

三、模型提出

HAR框架的整体工作流程：

1.连续小波变换

首先，作者采用了连续小波变换（CWT）来将原始的传感器时间序列数据编码成图像。CWT是一种有效的数学工具，用于信号处理，它可以将时域信号转换为时频域的表示形式。通过选择适当的母小波函数，CWT能够生成反映信号局部特性的系数。

步骤：

1. 对每个传感器通道的1D时间序列数据执行CWT，生成2D的scalogram。
2. 使用不同的尺度参数对原始信号进行CWT，以捕获不同频率下的特性。

2.惯性传感器到图像编码

将传感器数据转换为图像表示后，可以利用深度学习模型来提取特征。作者通过CWT将每个传感器样本转换为一个多通道的2D图像，其中每个通道对应于传感器的一个轴。

步骤：

1. 对每个传感器样本执行CWT，生成多通道的2D图像。
2. 根据传感器通道的数量和采样窗口的大小，调整CWT的参数。

3.特征提取使用空间注意力辅助CNN

作者提出了一个基于CNN的特征提取模型，该模型包含四个卷积层和空间注意力子网络。空间注意力机制使模型能够关注图像中最具信息性的部分。

步骤：

1. 输入图像通过四个卷积层，每层后面跟着一个最大池化层和一个dropout层。
2. 在每个卷积层之后，使用空间注意力模块来增强特征图。
3. 最后，将特征图展平并通过一个全连接层，生成1024维的特征向量。

4.空间注意力模块

空间注意力模块通过利用特征之间的空间关系来生成注意力特征图。该模块使用1x1的卷积层来融合通道信息，然后通过2D卷积层生成注意力特征图。

步骤：

1. 使用1x1的卷积层来融合特征图的通道。
2. 应用2D卷积层来生成空间注意力特征图。
3. 使用ReLU激活函数和适当的填充操作来保持空间尺寸。

5.特征选择

为了减少计算开销并提高分类准确性，提出了一种基于遗传算法（GA）的特征选择方法。该方法首先使用三种过滤器方法（MI、Relief-F和mRMR）来评估特征的重要性。

步骤：

1. 使用过滤器方法对特征进行评分。
2. 根据评分结果，使用GA选择最佳特征子集。
3. 应用指导性变异策略来提高个体染色体的适应度。

四、实验和结果 (Experiments and results)

在这一部分，作者详细描述了他们所提出的模型在多个公共人类活动识别（HAR）数据集上的实验设置、性能评估指标、实验结果以及结果的详细分析。

1.模型实现

• 实验环境：实验在配备AMD Ryzen 7 4800 H处理器、16 GB RAM和NVIDIA GeForce GTX 1660 Ti GPU的笔记本电脑上进行。
• 软件框架：使用Keras API和TensorFlow后端构建模型，CWT部分使用PyWavelets库。
• 训练细节：CNN模型采用Adam优化器进行训练，共训练150轮，批量大小为32。

2.数据集描述

作者使用了以下五个公共HAR数据集进行实验：

1. UCI-HAR：包含6种活动，由30名志愿者使用智能手机记录。

1. WISDM：包含6种活动，通过在福特汉姆大学实验室控制条件下收集的数据。

1. MHEALTH：包含12种活动，涉及10名不同背景的志愿者。

1. PAMAP2：包含12种活动，使用3个惯性测量单元（IMU）记录。

1. HHAR：包含6种活动，使用智能手机和智能手表记录。

下面出了五个数据集的汇总信息。UCI-HAR、WISDM和HHAR数据集包含6个活动，但传感器数量不同。MHEALTH和PAMAP2这两个数据集都包含12种活动和更多附加传感器。HHAR包含最多的训练和测试数据，而PAMAP2与其他数据集相比包含更多的附加传感器。

3.性能评估指标

• Accuracy（准确率）：正确预测的样本数占总样本数的比例。
• Precision（精确率）：正确预测为正类的样本数占预测为正类样本总数的比例。
• Recall（召回率）：正确预测为正类的样本数占实际正类样本总数的比例。
• F1-Score（F1分数）：精确率和召回率的调和平均值。
• Confusion Matrix（混淆矩阵）：评估分类模型性能的方阵。

4.实验结果

作者首先展示了不使用特征选择（FS）的模型性能，并与使用FS的模型进行了比较。

• 无FS模型：在所有数据集上均取得了较高的准确率，但使用FS后准确率进一步提高。

• 有FS模型：在UCI-HAR、WISDM、MHEALTH、PAMAP2和HHAR数据集上的准确率分别达到了99.45%、99.38%、99.90%、98.29%和97.72%。

5.混淆矩阵分析

混淆矩阵显示了模型在不同活动类别上的分类性能。

模型有无FS时UCI-HAR的混淆矩阵：

尽管模型整体性能良好，但在某些相似活动类别上仍然存在混淆，如站立和坐下、上楼和下楼等。

6.超参数影响分析

作者还探讨了遗传算法（GA）的超参数对模型性能的影响，包括：

• 种群大小：发现种群大小为10时，模型性能最佳。

• 交叉概率：不同的数据集对交叉概率的敏感度不同，但一般而言，交叉概率在0.6左右时性能较好。

• 迭代次数：迭代次数的增加并不总是能提高模型性能，适当的迭代次数可以避免过拟合。

五、结论

通过在多个公共数据集上的实验验证，证明了提出的结合CWT、空间注意力辅助CNN和GA特征选择的模型在HAR任务上的有效性和优越性。实验结果表明，该模型不仅提高了分类的准确性，还通过特征选择减少了计算资源的需求，提高了模型的实用性。