迁移学习有效性评估新方法LEEP解析

迁移学习何时有效？新评估指标提供更准确预测

迁移学习是一种广泛使用的技术，用于在标记训练数据稀缺时提高神经网络性能。在利用有限数据训练目标任务的网络之前，可以首先在数据更丰富的源任务上进行预训练，然后将获得的知识迁移到目标任务。

新型可迁移性评估指标

在国际机器学习会议上，研究团队提出了一种名为LEEP（对数期望经验预测）的新型可迁移性评估指标。实验证明，该指标比现有指标能更好地预测可迁移性。

LEEP具有更强的通用性：它基于理论分析，不像先前指标那样对源任务和目标任务的相关性做出强假设。在论文中，研究团队通过理论分析表明，LEEP应该能提供良好的可迁移性估计。

实证测试结果

研究团队进行了大量实证测试，在23种不同的迁移设置中将其指标与两个主要前身指标进行比较。这些设置结合了三种迁移学习类型、两个图像识别源任务，以及涉及另外两个图像识别任务不同训练数据子集的目标任务。

在23个比较中的15个中，LEEP的预测与迁移模型的最终准确性的相关性优于其他两个指标。在某些情况下，差异非常显著——比第二好的指标提高了30%。

元迁移学习应用

研究团队考虑的其中一个设置是元迁移学习，这是迁移学习和元学习的结合。在元迁移学习中，单个深度学习模型在训练期间适应许多新任务，从而学会用极少数据适应未见过的任务。

在该任务上，LEEP与最终模型准确性的相关性为0.591，而其他方法的相关性分别为0.310和0.025。研究团队认为LEEP是第一个适用于元迁移学习的可迁移性指标。

LEEP计算方法

LEEP测量训练好的机器学习模型与新任务标记数据集之间的可迁移性。LEEP过程的第一步是使用训练好的模型对目标任务的训练集中的数据进行分类，得到的分类是虚拟标签。

对于训练集中的每个示例，我们都有正确的标签，因此下一步是计算给定训练模型虚拟分类的目标任务标签的条件概率。

最后，我们设想一个分类器，根据该条件分布为每个输入随机选择一个虚拟标签，并基于该虚拟标签随机选择一个目标任务标签。LEEP是该假设分类器在目标任务训练集数据上的平均对数似然。

潜在应用场景

研究团队认为LEEP有几个潜在应用：

首先，它可用于选择迁移学习的源模型。它还可以帮助为多任务学习选择高度可迁移的任务组，其中单个机器学习模型同时针对多个任务进行训练。

LEEP还可用于超参数的迁移和优化，这些超参数是机器学习模型的结构特征或学习算法的参数，有助于最大化特定数据训练的效果。