首页
学习
活动
专区
圈层
工具
发布

ICLR 2020 | Deformable Kernels,创意满满的可变形卷积核

根据ERF的定义,输出坐标对应输入坐标的有效感受域值计算为公式3,为指示函数。...假设将第个卷积核替换为卷积核,ERF的计算会变为公式4,\ 即不包含层,这里每条路径权重直接乘上,因为层只有一个路径,符合指示函数的路径必定包含。 ?...非线性版本的有效感受域值计算为上式,因子使得ERF值变成与数据相关,实际中的有效感受域是不规则的形状,包含许多不规则分布的零值。...需要注意,公式4和公式5的计算是线性的,使得有效感受域值计算能与内核的线性采样操作兼容,比如使用双线性插值获得小数位置的内核值,即可以认为内核采样等对数据进行线性ERF采样(ERF与输出的采样位置、卷积核位置以及卷积核权重有关...全局模式更关注整体图片,根据整图进行核偏移,而局部模式则更关注图片的局部区域,对于小物体,生成形状特别的核(值差异大),从而使得ERF更密集,而对于大物体,生成较扁平的核(值差异小),使得ERF更广阔。

1.6K20

Jigsaw pre-training:摆脱ImageNet,拼图式主干网络预训练方法 | ECCV 2020

另外为了让网络更好的适应拼图数据,论文提出ERF-adaptive密集分类方法,能够很好地扩大预训练主干网络的有效感受域。...为了提高预训练网络的有效感受域,论文设计了ERF-adaptive密集分类策略,根据有效感受域(ERF)来给每个特征点指定平滑标签(soft label)。...设计了样本提取规则,以拼图策略和ERF-adaptive密集分类来高效地进行主干网络的预训练,提高了训练效率和最终性能。...整体的公式可表示为: [1240]   $M^i \in { 0,1}^{H\times W}$为二值掩膜,用来标记ERF在区域$i$中部分。...另外为了让网络更好的适应拼图数据,论文提出ERF-adaptive密集分类方法,能够很好地扩大预训练主干网络的有效感受域。

93510
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    可变形卷积系列(三) Deformable Kernels,创意满满的可变形卷积核 | ICLR 2020

    但理论感受域并不能度量像素对输出的贡献,相比理论感受域,更重要的是有效感受域(ERF),通过计算输出对应输入的偏导获得(与卷积权重相关),改变理论感受域只是改变有效感受域的一种手段。  ...[1240]   非线性版本的有效感受域值计算为上式,因子$\mathcal{C}$使得ERF值变成与数据相关,实际中的有效感受域是不规则的形状,包含许多不规则分布的零值。  ...需要注意,公式4和公式5的计算是线性的,使得有效感受域值计算能与内核的线性采样操作兼容,比如使用双线性插值获得小数位置的内核值,即可以认为内核采样等对数据进行线性ERF采样(ERF与输出的采样位置$j$...全局模式更关注整体图片,根据整图进行核偏移,而局部模式则更关注图片的局部区域,对于小物体,生成形状特别的核(值差异大),从而使得ERF更密集,而对于大物体,生成较扁平的核(值差异小),使得ERF更广阔。...[1240]   对不同的卷积的有效感受域进行了可视化,可变形卷积与DK都能产生类似的适应ERF,但可变形卷积倾向于更广阔的响应,DK则倾向于集中在物体内部,两者结合效果最佳。

    1.5K20

    夜间场景缺数据,如何进行语义分割?浙大提出基于GAN的高鲁棒夜间语义分割框架

    此外,有更多有效的语义分割网络被提出,我们的工作基于ERF-PSPNet,这是一种为导航辅助系统设计的最新语义分割网络。...最后,我们用调整后的具有一定百分比的夜间图像的训练数据训练ERF-PSPNet,达到提高夜间语义分割模型性能的目的。...因此,ERF-PSPNet可以保留其实时的属性。在我们的实验中,我们探索了合成夜间图像的比例如何影响语义分割模型的准确性。...对于ERF-PSPNet,编码器部分在ImageNet上进行了预训练,所以ERF-PSPNet所有的训练任务都在解码器部分的训练中。第一种方法是在BDD10K上训练ERF-PSPNet。...在第二种方法中,使用BDD10K训练集中不同比例的图像来训练ERF-PSPNet。

    2K30

    清华姚班校友刘壮团队再发力,无需归一化的Transformer性能进化

    而这篇新论文提出了一种非常简单的新激活层 Derf(Dynamic erf),让「无归一化(Normalization-Free)」的 Transformer 不仅能稳定训练,还在多个设置下性能超过了带...他表示,这是一篇关于更强无归一化 Transformer 的新论文:研究团队提出了 Derf(Dynamic erf),一种结构极其简单的逐点(point-wise)层。...最终,Dynamic erf(Derf) 作为一种结构极其简单但性能最优的函数设计脱颖而出。 总体而言,本研究表明:只要设计得当,逐点函数不仅可以替代归一化层,甚至能够在性能上超越它们。...最优函数设计:Derf 在函数搜索过程中,我们发现 erf (x) 是性能最优的逐点函数。误差函数 erf (・) 与标准高斯分布的累积分布函数(CDF)密切相关。...具体而言,erf (x) 的定义如下所示。 在本文的设计中,erf (x) 进一步引入了可学习参数,并由此提出 Derf(Dynamic erf)。

    9710

    南开大学提出YOLO-MS | 超越YOLOv8与RTMDet,即插即用打破性能瓶颈

    有效感受野分析 先前的研究引入了有效感受野(ERF)的概念,作为理解深度卷积神经网络(CNN)行为的度量。ERF测量了受特征表示影响的输入空间中的有效区域。...在这里,作者进一步利用ERF的概念来研究HKS的有效性。 具体而言,作者测量了编码器的第2、3和4阶段中高贡献像素包含的ERF的边长。 视觉比较如图4所示。...如图4(a)所示,随着卷积Kernel-Size的增加,所有阶段的ERF区域也变大,这支持卷积Kernel-Size与感受野之间的正相关性。...此外,在浅阶段,ERF区域小于大多数其他设置,而在深阶段则相反。这一观察表明,该协议在扩大深阶段的感受野的同时,不会损害浅阶段。...在图4(b)中,作者可以观察到作者的HKS在深阶段实现了最大的ERF,从而更好地检测大目标。

    2.1K50
    领券