【小样本识别】开源 | 基于动态蒸馏网络的无标签数据跨域Few-Shot识别

获取完整原文和代码，公众号回复：10050657380

论文地址： http://arxiv.org/pdf/2106.07807v1.pdf

代码： 公众号回复：10050657380

来源： Rensselaer Polytechnic Institute, MIT-IBM Watson AI Lab

论文名称：Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data

原文作者：Ashraful Islam

内容提要

现有的few-shot学习大多依赖于元学习，即在一个大的基本数据集上进行网络学习，而这些数据集通常来自与目标数据集相同的领域。我们解决了在基域和目标域之间存在较大偏移的跨域few-shot学习问题。在文献中，未标记目标数据的跨域few-shot识别问题没有得到很好的解决。STARTUP是第一个通过自我训练解决这个问题的方法。然而，它使用一个固定的教师预先训练的标签基础数据集为未标签的目标样本创建软标签。由于基础数据集和未标记数据集来自不同的域，使用固定的预训练模型将目标图像投影到基础数据集的类域可能是次优的。我们提出了一种简单的基于动态蒸馏的方法，从而帮助新的/基础数据集中的未标记图像。通过计算来自教师网络的未标记图像的弱增强版本的预测，并将其与来自学生网络的相同图像的强增强版本进行匹配，我们实现了一致性正则化。将教师网络的参数更新为学生网络参数的指数移动平均。我们表明，所提出的网络学习表示可以很容易地适应目标域，即使它没有在训练前阶段与目标特定的类训练。在BSCD-FSL基准测试中，我们的模型在1-shot分类和5-shot分类上分别比现有的方法提高了4.4%和3.6%，在传统的领域内few-shot学习任务中也表现出了较好的性能。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。