融合选择性卷积与残差结构的SKResNet架构详解

Selective Kernel Residual Network（SKResNet） 是一种结合了选择性卷积核机制和残差连接的深度神经网络架构。它通过动态选择不同尺度的卷积核来自适应地提取多尺度特征，在保持计算效率的同时显著提升了模型的表达能力和性能。

image.png

一、SKResNet的理论基础与创新点

1. 传统卷积神经网络的局限性

传统卷积神经网络（CNN）在图像处理中依赖固定大小的卷积核（如 3x3 或 5x5）来提取特征。这种设计虽然简单高效，但在面对具有多尺度特征的复杂场景时，表现出一定的局限性：

• 感受野固定性：单一尺寸的卷积核只能捕捉特定尺度的特征，难以同时处理不同尺度的目标对象。在实际应用中，图像或信号中的关键信息往往分布在不同的空间尺度上。
• 特征提取单一性：固定的卷积核限制了模型对多样化特征模式的感知能力，特别是在处理复杂场景时，可能遗漏重要的细节信息或全局结构信息。
• 适应性不足：传统CNN无法根据输入数据的特点动态调整特征提取策略，缺乏对不同输入模式的自适应能力。

这些限制促使研究者探索更加灵活和智能的卷积操作方式，Selective Kernel Network正是在这一背景下应运而生的创新解决方案。

2. SKResNet的核心创新

image.png

SKResNet 的核心在于引入 Selective Kernel（SK）机制，它允许网络根据输入数据动态选择不同尺度的卷积核。具体而言：

多尺度卷积并行：在 SKBlock 中，网络同时使用多个不同大小的卷积核（如 3x1、5x1、7x1、9x1）处理输入，生成多种尺度的特征表示。

注意力加权融合：通过全局平均池化和全连接层，计算每个卷积核输出对应的注意力权重，再根据这些权重动态融合多尺度特征。

残差连接：结合 ResNet 的跳跃连接（shortcut），缓解深层网络的梯度消失问题，提升训练稳定性。

3. 技术优势分析

相比传统的卷积神经网络，SKResNet展现出显著的技术优势：

• 多尺度特征感知能力：能够同时捕捉细粒度的局部特征和粗粒度的全局特征，提供更加丰富和全面的特征表示。
• 动态适应性：根据不同的输入数据自动调整特征提取策略，无需人工设计针对特定任务的网络结构。
• 计算效率优化：通过注意力机制实现智能的特征选择，避免了简单特征拼接带来的参数冗余和计算浪费。
• 鲁棒性增强：多尺度特征的融合提高了模型对噪声、尺度变化等干扰因素的鲁棒性。

二、SKResNet架构设计详解

1. 整体架构概览

SKResNet采用层次化的设计思路，主要由以下几个核心组件构成：

• SKBlock（选择核模块）：实现多尺度卷积核的并行处理和注意力驱动的特征选择
• Block（残差块）：集成SKBlock和残差连接，形成基本的网络构建单元
• SKResNet（主网络）：通过堆叠多个Block构建深层网络，实现端到端的特征学习

这种模块化设计不仅提高了代码的可维护性，还使得网络结构具有良好的可扩展性和灵活性。

2. SKBlock：选择核模块详解

SKBlock是SKResNet的核心创新模块，负责实现多尺度特征的提取和智能选择。

2.1 多尺度卷积核设计

class SKBlock(nn.Module):
    def __init__(self, inchannel, outchannel, stride=1):
        super().__init__()
        # 多尺度卷积核定义
        self.kernel1 = nn.Sequential(
            nn.Conv2d(inchannel, outchannel, (3, 1), (stride, 1), (1, 0)),
            nn.BatchNorm2d(outchannel)
        ) 
        self.kernel2 = nn.Sequential(
            nn.Conv2d(inchannel, outchannel, (5, 1), (stride, 1), (2, 0)),
            nn.BatchNorm2d(outchannel)
        )
        self.kernel3 = nn.Sequential(
            nn.Conv2d(inchannel, outchannel, (7, 1), (stride, 1), (3, 0)),
            nn.BatchNorm2d(outchannel)
        )
        self.kernel4 = nn.Sequential(
            nn.Conv2d(inchannel, outchannel, (9, 1), (stride, 1), (4, 0)),
            nn.BatchNorm2d(outchannel)
        )

SKBlock采用四个不同尺寸的一维卷积核：3×1、5×1、7×1、9×1。这种设计有以下几个考虑：

• 尺度递增性：从小到大的卷积核尺寸能够捕捉从局部细节到全局结构的多层次特征
• 奇数核尺寸：使用奇数尺寸的卷积核保证了特征图的中心对称性，有利于特征的稳定提取
• 一维卷积设计：针对时序数据或一维信号的特点，采用(kernel_size, 1)的卷积核形式
• 统一输出通道：所有卷积核的输出通道数相同，便于后续的特征融合操作

2.2 注意力机制实现

self.gap = nn.AdaptiveAvgPool2d(1)
self.att_fc = nn.Sequential(
    nn.Linear(outchannel, outchannel*4),
    nn.Sigmoid()
)

注意力机制的设计包含以下关键组件：

• 全局平均池化：通过AdaptiveAvgPool2d(1)将空间维度压缩为1×1，提取全局统计信息
• 注意力计算网络：使用全连接层将特征维度扩展至outchannel×4，对应四个卷积核的权重
• Sigmoid激活：确保注意力权重在0-1范围内，实现软性选择机制

2.3 特征选择与融合

def forward(self, x):
    # 多尺度特征提取
    y1 = self.kernel1(x).unsqueeze(1)  # [b, 1, outchannel, h, modal]
    y2 = self.kernel2(x).unsqueeze(1)
    y3 = self.kernel3(x).unsqueeze(1)
    y4 = self.kernel4(x).unsqueeze(1)
    y_total = torch.cat([y1, y2, y3, y4], dim=1)  # [b, 4, outchannel, h, modal]
    
    # 注意力权重计算
    attn = self.att_fc(self.gap(torch.sum(y_total, dim=1)).squeeze(-1).squeeze(-1))
    attn = attn.reshape(x.size(0), 4, -1).unsqueeze(-1).unsqueeze(-1)
    
    # 加权融合
    attn_y = y_total * attn
    out = torch.sum(attn_y, dim=1)
    return out

特征选择与融合过程包含以下步骤：

1. 并行特征提取：四个卷积核同时对输入进行卷积操作，生成四组特征图
2. 特征聚合：将四组特征图在新增的维度上进行拼接，形成统一的特征表示
3. 全局信息提取：对聚合后的特征进行空间维度的求和和全局平均池化
4. 注意力权重生成：通过全连接网络生成四个卷积核对应的注意力权重
5. 加权特征融合：使用注意力权重对四组特征进行加权求和，得到最终输出

3. Block：残差块设计

class Block(nn.Module):
    def __init__(self, inchannel, outchannel, stride=1):
        super().__init__()
        self.block = nn.Sequential(
            SKBlock(inchannel=inchannel, outchannel=outchannel, stride=stride),
            nn.BatchNorm2d(outchannel),
            nn.ReLU(),
            nn.Conv2d(outchannel, outchannel, 1, 1, 0),
            nn.BatchNorm2d(outchannel)
        )
        self.short = nn.Sequential()
        if (inchannel != outchannel or stride != 1):
            self.short = nn.Sequential(
                nn.Conv2d(inchannel, outchannel, (3, 1), (stride, 1), (1, 0)),
                nn.BatchNorm2d(outchannel)
            )
    
    def forward(self, x):
        out = self.block(x) + self.short(x)
        return nn.ReLU()(out)

Block模块的设计融合了SKBlock和残差学习的优势：

• 主路径设计：SKBlock → BatchNorm → ReLU → 1×1卷积 → BatchNorm的序列结构
• 跳跃连接：当输入输出通道数不同或步长不为1时，使用卷积层调整维度
• 残差相加：将主路径输出与跳跃连接输出相加，实现残差学习
• 最终激活：在残差相加后应用ReLU激活函数

4. SKResNet：完整网络架构

class SKResNet(nn.Module):
    def __init__(self, train_shape, category):
        super().__init__()
        self.layer1 = self.make_layers(1, 64, 2, 1)
        self.layer2 = self.make_layers(64, 128, 2, 1)
        self.layer3 = self.make_layers(128, 256, 2, 1)
        self.layer4 = self.make_layers(256, 512, 2, 1)
        self.ada_pool = nn.AdaptiveAvgPool2d((1, train_shape[-1]))
        self.fc = nn.Linear(512*train_shape[-1], category)

SKResNet的整体架构采用四层递进的设计：

• 渐进式特征提取：通道数从64逐步增加到512，特征抽象程度逐层提升
• 下采样策略：每层都使用stride=2进行下采样，逐步减少特征图的空间尺寸
• 自适应池化：使用AdaptiveAvgPool2d保留模态维度，压缩时序维度
• 分类头设计：通过全连接层将特征映射到类别空间

三、技术细节与实现要点

1. 卷积核尺寸选择策略

SKResNet中卷积核尺寸的选择遵循以下原则：

• 尺度覆盖性：3×1到9×1的核尺寸能够覆盖从局部到中等范围的感受野
• 计算复杂度平衡：避免使用过大的卷积核，保持计算效率
• 特征互补性：不同尺寸的核能够提取互补的特征信息
• 实验验证性：这一配置在多个数据集上都表现出良好的性能

2. 注意力机制设计考量

注意力机制的设计考虑了以下几个方面：

• 全局信息利用：通过全局平均池化提取每个特征图的全局统计信息
• 权重归一化：使用Sigmoid函数确保权重的合理性和稳定性
• 维度匹配：注意力权重的维度设计便于与多尺度特征进行逐元素乘法
• 梯度流畅性：Sigmoid函数的平滑性有利于梯度的稳定传播

3. 残差连接优化

残差连接的实现包含以下优化策略：

• 维度自适应：当输入输出维度不匹配时，自动添加1×1卷积进行维度调整
• 批归一化集成：在残差路径中合理安排BatchNorm层的位置
• 激活函数放置：将最终的ReLU激活放在残差相加之后，保持特征的非线性

4. 网络深度与宽度平衡

SKResNet在网络设计中平衡了深度与宽度：

• 适中的网络深度：四层主要结构既保证了特征抽象能力，又避免了过度复杂化
• 渐进式通道增长：通道数的递增设计符合特征抽象的层次性要求
• 计算资源考量：整体架构在性能和计算效率之间取得了良好的平衡

SKResNet的计算复杂度主要由以下几部分组成：

尽管SKBlock增加了计算开销，但通过以下策略实现了效率优化：

• 并行计算：多个卷积核可以并行执行，充分利用现代GPU的并行计算能力
• 注意力轻量化：注意力机制的计算量相对较小，不会显著增加整体开销
• 特征复用：残差连接避免了重复的特征计算5. SKResNet 与传统方法的对比

四、OPPORTUNITY 数据集实战结果

本节以OPPORTUNITY 数据集为例，展示SKResNet的实际应用及其实验结果。

1.训练结果

融合选择性卷积与残差结构的SKResNet在OPPORTUNITY数据集上的性能如下表所示：

| Metric | Value |

Inference Time 5.23 ms

Val Acc 0.9724

Accuracy 0.9755

Macro Precision 0.9632

Macro Recall 0.9604

Macro F1 0.9614

Fw-score 0.9754

SKResNet 实现了令人印象深刻的 0.9724 验证准确率和 0.9755 的整体准确率，这反映了它对数据集内不同活动进行分类的有效性。该模型还表现出很强的泛化性，宏观精度为 0.9632，宏观召回率为 0.9604，宏观 F1 评分为 0.9614。0.9754 的频率加权分数 （Fw-score） 进一步强调了其跨类别之间的平衡表现。SKResNet 的推理时间为 5.23 毫秒 ，事实证明它对实时应用程序非常有效。

2.每个类别的准确率

Open_Door_1: Precision = 1.00, Recall = 1.00, F1-score = 1.00

Close_Door_1: Precision = 0.98, Recall = 0.98, F1-score = 0.98

Open_Door_2: Precision = 1.00, Recall = 1.00, F1-score = 1.00

Close_Door_2: Precision = 0.98, Recall = 0.97, F1-score = 0.98

Open_Fridge: Precision = 0.97, Recall = 0.97, F1-score = 0.97

Close_Fridge: Precision = 0.99, Recall = 0.97, F1-score = 0.98

Dishwasher: Precision = 0.96, Recall = 0.94, F1-score = 0.95

Open_Drawer_1: Precision = 0.94, Recall = 0.92, F1-score = 0.93

Close_Drawer_1: Precision = 0.89, Recall = 0.88, F1-score = 0.88

Open_Drawer_2: Precision = 0.86, Recall = 0.88, F1-score = 0.87

Close_Drawer_2: Precision = 0.75, Recall = 0.75, F1-score = 0.75

Open_Drawer_3: Precision = 0.94, Recall = 0.94, F1-score = 0.94

Close_Drawer_3: Precision = 0.99, Recall = 0.99, F1-score = 0.99

Clean_Table: Precision = 0.98, Recall = 0.98, F1-score = 0.98

Drink_from_Cup: Precision = 1.00, Recall = 0.98, F1-score = 0.99

Toggle_Switch: Precision = 0.98, Recall = 0.98, F1-score = 0.98

Open_Door_1、Open_Door_2 和 Close_Drawer_3 等活动可以达到近乎完美的 F1 分数 （0.99–1.00），这表明 SKResNet 能够精确识别不同的运动模式。

3.柱状图及准确率和损失曲线图

SKResNet 擅长区分动态活动，同时偶尔会面临重叠运动模式的挑战：

image.png

训练过程中，ResNext 的训练集与验证集指标表现如下：

image.png

训练和验证指标的紧密结合表明 SKResNet 避免了严重的过拟合，实现了稳定可靠的性能。选择性核残差网络 （SKResNet） 在 OPPORTUNITY 数据集上提供了出色的结果，总体准确率为 0.9755， 宏 F1 分数为 0.9614，推理时间为 5.23 毫秒 。其自适应内核选择和残差连接使其能够有效地捕获多尺度特征，使其非常适合行为识别任务。该模型擅长区分动态活动，例如开门作和饮酒，同时显示出密切相关的作（如抽屉作）的微小限制。

五、总结与展望

Selective Kernel Residual Network通过巧妙地结合多尺度卷积核选择和残差学习，为深度学习领域带来了新的思路和方法。它不仅解决了传统CNN在多尺度特征提取方面的局限性，还通过注意力机制实现了智能的特征选择，在保持计算效率的同时显著提升了模型性能。SKResNet代表了深度学习架构设计的一个重要发展方向，它展示了如何通过创新的设计思路来突破传统方法的局限性，为构建更加智能和高效的深度学习模型提供了宝贵的经验和启示。