精选论文 | 元学习与增量学习【附打包下载】

关注文章公众号 回复"SFFAI26论文"获取本主题精选论文

元学习（Meta Learning）和增量学习（Incremental Learning）是目前机器学习理论中比较火热的研究方向。两位报告嘉宾为大家精选了近期元学习和增量学习领域的代表性文章，同时和大家一起交流分享自己最新的研究工作。

你可以认真阅读，来现场和讲者面对面交流哦。

1

推荐理由：知识蒸馏的开山之作。在实际应用中，为了方便部署，通常需要将一个大网络（或者多个网络）的知识传递给一个小网络，作者提出一种在不同网络之间进行知识传递的方式，称为知识蒸馏。在相同输入的情况下，通过使小网络的输出和大网络的输出尽可能地接近从而模拟大网络的行为。此外，引入了一个参数T（temperature）使得大网络的输入变得平滑，更有利于小网络的学习。

推荐理由来自：侯赛辉

2

推荐理由：首次将知识蒸馏引入多任务增量学习。在多任务增量学习的某一阶段，输入为在旧任务数据上训练的模型（称为Original CNN）和新任务的数据。在训练开始前，首先记录Original CNN以新任务数据作为输入的输出结果。在训练过程中，计算更新后的模型对于新任务数据在旧任务类别上的预测概率，使之接近于所记录的Original CNN的输出，通过这种方式保持在旧任务上的性能。

推荐理由来自：侯赛辉

3

推荐理由：多类别增量学习代表性的工作。多类别增量学习相对于多任务增量学习更具有挑战性，在每个阶段需要在当前阶段观测到的所有类别之间进行判别。iCaRL在Learning without Forgetting的基础上引入了Nearest-Mean-of-Exemplars的分类策略，能够有效避免新旧样本之间的混淆。此外，提出为每个旧类别保留少量的样本，并提出基于Herding的方法在每个类别内选取样本进行保留。

推荐理由来自：侯赛辉

4

推荐理由：将知识蒸馏用于多类别增量学习中新任务的学习。Learning without Forgetting中将知识蒸馏用于旧任务性能的保持，在这篇论文中提出将知识蒸馏用于新任务的学习。当一个新任务到来时，首先仅在新任务的数据训练一个模型称为Expert CNN，然后通过知识蒸馏的方式将新任务的知识从Expert CNN传递给Original CNN。通过这样方式可以使Original CNN学习新任务的知识变得更容易，同时也更有利于旧任务性能的保持。

推荐理由来自：侯赛辉

5

推荐理由：从样本不均衡的角度解决多类别增量学习问题。通过研究发现新旧类别的样本不均衡容易造成判别时新旧类别之间的混淆，是影响多类别增量学习的重要因素。论文所提出的方法主要包含三个模块，从网络正则化以及分离类别边界等角度分别来缓解样本不均衡所带来的负面影响，在每个增量学习阶段都取得了较高的准确率。

推荐理由来自：侯赛辉

6

推荐理由：早期比较要代表性的工作之一，其核心思想是根据当前任务和训练集学习一个最优的优化器，该优化器能够使得神经网络的梯度下降更快更准。

推荐理由来自：胡学财

7

推荐理由：Meta-Learning 来学习一个权重转换函数，该函数使用目标检测子模块的权重来预测掩码预测子模块的权重，这样只需要少数几个类别的掩码（mask）标注（标注成本大）和全部类别的bounding box（标注成本小）就能学习到一个对所有类别都可以进行掩码预测的网络。

推荐理由来自：胡学财

8

推荐理由：Meta-Learning 在目标检测任务上的应用，主要是针对之前的anchor必须预先定义好（不够灵活，当然最近也提出了一些无anchor的目标检测框架），MetaAnchor 可以任意定义anchor，并利用该anchor的信息通过权重预测模块预测出detection head 的权重，实现更加灵活有效的anchor机制。

推荐理由来自：胡学财