Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【模型优化】开源 |CVPR2020|ECA-Net深度卷积神经网络的有效通道注意,在图像分类、目标检测和实例分割方面更高效

【模型优化】开源 |CVPR2020|ECA-Net深度卷积神经网络的有效通道注意,在图像分类、目标检测和实例分割方面更高效

作者头像
CNNer
发布于 2020-06-19 07:58:02
发布于 2020-06-19 07:58:02
1.6K0
举报
文章被收录于专栏:CNNerCNNer

论文地址:http://arxiv.org/pdf/1910.03151v4.pdf 代码:https://github.com/bangguwu/ecanet 来源:天津大学智能与计算学院 天津机器学习重点实验室 论文名称:ECA-Net: Efficient Channel Attention for Deep Convolutional NeuralNetworks 原文作者:Qilong Wang

最近,通道注意力机制在改善深度卷积神经网络(CNNs)性能方面具有巨大的潜力。然而,大多数现有的方法致力于开发更复杂的注意力模块,以获得更好的性能,这不可避免地增加了模型的复杂性,加重了计算负担。为了克服性能和复杂性权衡的悖论,本文提出了一种有效的信道关注(ECA)模块,该模块只涉及少量参数k (k <= 9),但是能带来明显的性能增益。通过对SENet中的通道注意模块进行剖析,证明了避免降维和适当的跨通道交互对于学习有效的通道注意是非常重要的,可以显著的降低模型复杂度。因此,本文提出了一种无降维的局部跨通道交互策略,该策略可以通过一维卷积有效地实现。在此基础上,我们提出了一种自适应选择一维卷积核大小的方法,以确定局部跨信道相互作用的覆盖范围。本文提出的ECA模块非常高效,例如,我们的模块与ResNet50中的参数和计算量相比分别为80 vs. 24.37M和4.7e-4 GFLOPs vs. 3.86 GFLOPs,与目前Top-1的准确度相比性能提升超过2%。将ECA模块整合到现有的CNN架构中,命名为ECA-Net。以ResNets和MobileNetV2为背景,在图像分类、目标检测和实例分割方面对ECA-Net架构进行了广泛的评估。实验结果表明,与同类网络相比,ECA-Net具有更高的效率。

下面是论文具体框架结构以及实验结果:

声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请加上文微信联系删除。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CNNer 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
11种开源即插即用模块汇总 !!(附论文和代码)
(SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy)
JOYCE_Leo16
2024/03/19
2.2K0
11种开源即插即用模块汇总 !!(附论文和代码)
YOLOv8改进:EMA基于跨空间学习的高效多尺度注意力、效果优于ECA、CBAM、CA | 小目标涨点明显 | ICASSP2023
通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。本文提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标,将部分通道重塑为批量维度,并将通道维度分组为多个子特征,使空间语义特征在每个特征组中均匀分布。
AI小怪兽
2023/10/09
3.7K0
通道注意力机制|Channel Attention Neural Network
论文:ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
是Dream呀
2025/03/15
1.6K0
通道注意力机制|Channel Attention Neural Network
CVPR2020 | SCNet:自校正卷积网络,无复杂度增加换来性能提升
论文地址:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf
AI算法修炼营
2020/06/09
2.1K0
【CVPR 2020】一种新的门控通道注意力转换单元
【导读】今天给大家推荐一篇百度联合Syndney在CVPR2020上发表的关于Attention机制的文章。它提出了一种通用且轻量型的转换单元,GCT 结合了归一化方法和注意力机制,并使用轻量级的、易于分析的变量来隐式地学习网络通道间的相互关系。同时便于与网络本身参数联合训练。
深度学习技术前沿公众号博主
2020/09/10
2.8K0
卷积神经网络学习路线(十三)| CVPR2017 Deep Pyramidal Residual Networks
深度残差金字塔网络是CVPR2017年的一篇文章,由韩国科学技术院的Dongyoon Han, Jiwhan Kim发表,改善了ResNet。其改用加法金字塔来逐步增加维度,还用了零填充直连的恒等映射,网络更宽,准确度更高,超过了DenseNet,泛化能力更强。论文原文见附录。
BBuf
2020/02/12
6670
卷积神经网络学习路线(十三)| CVPR2017 Deep Pyramidal Residual Networks
YOLO11-seg分割:包裹分割数据集 | 原创自研 | 一种新颖的跨通道交互的高效率通道注意力EMCA,ECA改进版(四)
💡💡💡本文原创自研创新改进:基于ECA注意力,提出了一种新颖的EMCA注意力(跨通道交互的高效率通道注意力),保持高效轻量级的同时,提升多尺度提取能力
AI小怪兽
2025/01/02
3710
CVPR2020 | Strip Pooling:语义分割新trick,条纹池化取代空间池化
代码链接:https://github.com/Andrew-Qibin/SPNet
AI算法修炼营
2020/05/08
2.8K0
Squeeze-and-Excitation Networks
卷积神经网络(CNNs)的核心构件是卷积算子,它通过在每一层的局部接受域内融合空间和信道信息来构造信息特征。之前的大量研究已经研究了这种关系的空间成分,试图通过提高整个特征层次的空间编码质量来增强CNN的代表性。在这项工作中,我们关注的是通道之间的关系,并提出了一个新的架构单元,我们称之为“挤压-激励”(SE)块,它通过显式地建模通道之间的相互依赖关系,自适应地重新校准通道方向的特征响应。我们展示了这些块可以叠加在一起形成SENet架构,从而非常有效地在不同的数据集中进行泛化。我们进一步证明,SE块可以显著提高现有的最先进的CNNs的性能,只需要稍微增加一些计算成本。挤压和激励网络构成了我们ILSVRC 2017年分类提交的基础,该分类提交获得了第一名,并将前5名的错误减少到2.251%,比2016年获奖的条目相对提高了约25%。
狼啸风云
2019/08/18
2.4K0
YOLOv8原创改进:一种新颖的跨通道交互的高效率通道注意力EMCA,ECA改进版
💡💡💡本文原创自研创新改进:基于ECA注意力,提出了一种新颖的EMCA注意力(跨通道交互的高效率通道注意力),保持高效轻量级的同时,提升多尺度提取能力
AI小怪兽
2023/12/16
2.2K0
注意力机制又一大作!DCANet:学习卷积神经网络的连接注意力
【导读】今天给大家分享一篇关于注意力机制方面的优秀论文,该论文提出了深度连接注意力网络(DCANet),这是一种新颖的设计,在不改变CNN模型内部结构的情况下可以大幅提升注意力模块的性能。这个工作也证明了注意力单元之间不同的连接方式和注意力模块间信息交流的重要性。
深度学习技术前沿公众号博主
2020/08/18
4.1K0
注意力机制又一大作!DCANet:学习卷积神经网络的连接注意力
CVPR2020 | Context Prior:在语义分割中引入上下文先验,Cityscapes上81.3%mIoU
论文链接:https://arxiv.org/pdf/2004.01547.pdf
AI算法修炼营
2020/05/08
2K0
注意力机制汇总,包括SE、CBAM、ECA等
注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息的一部分,同时忽略其他可见的信息。为了合理利用有限的视觉信息处理资源,人类需要选择视觉区域中的特定部分,然后集中关注它。例如,人们在阅读时,通常只有少量要被读取的词会被关注和处理。综上,注意力机制主要有两个方面:决定需要关注输入的哪部分;分配有限的信息处理资源给重要的部分。
JOYCE_Leo16
2024/03/19
10.6K0
注意力机制汇总,包括SE、CBAM、ECA等
CNN 深度混合,融合静态剪枝与动态计算的高效神经网络优化技术 !
近年来,卷积神经网络(CNNs)在多种计算机视觉应用中取得了显著的进步,如图像识别[11, 34],目标检测[28, 29],和图像分割[23, 43]。尽管它们的性能表现非常出色,但CNNs通常需要大量的计算资源和庞大的内存,这在设备计算资源有限的情况下部署高级模型带来了巨大的挑战[19]。
未来先知
2024/10/10
4480
CNN 深度混合,融合静态剪枝与动态计算的高效神经网络优化技术 !
北师大研究团队建立 ECA-Net 模型,预测中国未来 70 年的风能利用潜力
来自北京师范大学环境学院的研究团队建立了 ECA-Net 降尺度模型,并利用 2006 年至 2010 年的数据对建立的模型进行验证,进而预测我国本世纪的风能利用潜力。
HyperAI超神经
2024/03/13
1800
北师大研究团队建立 ECA-Net 模型,预测中国未来 70 年的风能利用潜力
ICML 2022 NUS&NVIDIA提出完全注意力网络《FAN》,在分类、检测、分割多个CV任务上SOTA,代码已开源!
本篇文章分享 ICML 2022 论文『Understanding The Robustness in Vision Transformers』,NUS&NVIDIA 提出完全注意力网络 FAN,在分类、检测、分割多个CV任务上SOTA,代码已开源!
CV君
2022/09/01
5490
ICML 2022 NUS&NVIDIA提出完全注意力网络《FAN》,在分类、检测、分割多个CV任务上SOTA,代码已开源!
卷积神经网络学习路线(二十) | Google ICCV 2019 MobileNet V3
MobileNetV3是Google继MobileNet V1和MobileNet V2后的新作,主要使用了网络搜索算法(用NAS通过优化每个网络块来搜索全局网络结构,用NetAdapt算法搜索每个层的滤波器数量),同时在MobileNet V2网络结构基础上进行改进,并引入了SE模块(我们已经讲过了SENet,【cv中的Attention机制】最简单最易实现的SE模块)和提出了H-Swish激活函数。论文原文见附录。
BBuf
2020/02/21
8550
卷积神经网络学习路线(二十) | Google ICCV 2019 MobileNet V3
改进的检测算法:用于高分辨率光学遥感图像目标检测
目标检测对光学遥感图像的解释至关重要,可以作为研究利用遥感的其他视觉任务的基础。然而,目前在光学遥感图像中使用的目标检测网络没有充分利用特征金字塔的输出,因此仍有改进检测的潜力。
计算机视觉研究院
2023/08/23
9000
改进的检测算法:用于高分辨率光学遥感图像目标检测
CVPR2021-即插即用 | Coordinate Attention详解与CA Block实现(文末获取论文原文)
Mobile Network设计的最新研究成果表明,通道注意力(例如,SE注意力)对于提升模型性能具有显著效果,但它们通常会忽略位置信息,而位置信息对于生成空间选择性attention maps是非常重要。
集智书童公众号
2021/05/28
9.1K0
CVPR2020 | SANet:视觉注意力SE模块的改进,并用于语义分割
论文地址:https://arxiv.org/pdf/1909.03402.pdf
AI算法修炼营
2020/06/24
5.5K0
推荐阅读
11种开源即插即用模块汇总 !!(附论文和代码)
2.2K0
YOLOv8改进:EMA基于跨空间学习的高效多尺度注意力、效果优于ECA、CBAM、CA | 小目标涨点明显 | ICASSP2023
3.7K0
通道注意力机制|Channel Attention Neural Network
1.6K0
CVPR2020 | SCNet:自校正卷积网络,无复杂度增加换来性能提升
2.1K0
【CVPR 2020】一种新的门控通道注意力转换单元
2.8K0
卷积神经网络学习路线(十三)| CVPR2017 Deep Pyramidal Residual Networks
6670
YOLO11-seg分割:包裹分割数据集 | 原创自研 | 一种新颖的跨通道交互的高效率通道注意力EMCA,ECA改进版(四)
3710
CVPR2020 | Strip Pooling:语义分割新trick,条纹池化取代空间池化
2.8K0
Squeeze-and-Excitation Networks
2.4K0
YOLOv8原创改进:一种新颖的跨通道交互的高效率通道注意力EMCA,ECA改进版
2.2K0
注意力机制又一大作!DCANet:学习卷积神经网络的连接注意力
4.1K0
CVPR2020 | Context Prior:在语义分割中引入上下文先验,Cityscapes上81.3%mIoU
2K0
注意力机制汇总,包括SE、CBAM、ECA等
10.6K0
CNN 深度混合,融合静态剪枝与动态计算的高效神经网络优化技术 !
4480
北师大研究团队建立 ECA-Net 模型,预测中国未来 70 年的风能利用潜力
1800
ICML 2022 NUS&NVIDIA提出完全注意力网络《FAN》,在分类、检测、分割多个CV任务上SOTA,代码已开源!
5490
卷积神经网络学习路线(二十) | Google ICCV 2019 MobileNet V3
8550
改进的检测算法:用于高分辨率光学遥感图像目标检测
9000
CVPR2021-即插即用 | Coordinate Attention详解与CA Block实现(文末获取论文原文)
9.1K0
CVPR2020 | SANet:视觉注意力SE模块的改进,并用于语义分割
5.5K0
相关推荐
11种开源即插即用模块汇总 !!(附论文和代码)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档