机器学习之迁移学习简述

迁移学习，顾名思义，就是把在某个领域获取的知识迁移到对另一个领域的学习中，也就是举一反三。人类对举一反三的理论性研究要追溯到1901年，心理学家桑代克和伍德沃思提出了学习迁移（transfer of learning）的概念。他们主要研究了人们学习某个概念时如何对学习其他概念产生迁移，这些理论对后来教育学的发展产生了重要影响。

随着人工智能与机器学习的兴起，人们就想把学习迁移的思想应用到机器学习中。传统的机器学习，尤其是有监督学习，对数据的样本数量、数据分布的统一性、标签的完整性等都有着严苛的要求。而迁移学习解决的正是在机器学习任务中面对样本不足、标签不全等情况，如何借助外部其他分布的数据来有效地学习这一问题。1990年以来，大量研究都涉及迁移学习的概念，如自主学习、终生学习、多任务学习、知识迁移等。但是这些研究都没有形成一个完整的迁移学习体系。直到2010年，迁移学习的首个形式化定义被提出，由此，迁移学习成为机器学习中一个重要的分支领域。近些年，深度迁移学习，迁移强化学习的提出让我们看到了这一领域非凡的潜力。

按照迁移学习形式化的定义，它的目的是借助一个源数据集来学习目标数据集的一个预测函数。我们按照学习方法把迁移学习分成样本迁移、特征迁移、模型迁移和关系迁移四个类别。

基于样本的迁移学习是试图通过对源数据中的每个样本赋予新的权重，使其更好地服务于新的学习任务。我们从源数据中挑选出和目标数据更相似的样本来参与训练，而剔除和目标数据不相似的样本。假如我们想训练一个模型来识别一幅图片中是否有狼，但是大部分包含狼的图片都没有标签，这使得传统的有监督学习难以生效。我们有另一个标签齐全的数据集，包含不同品种的狗的图片。我们的算法在观察少部分狼的图片以后，发现狗的图片中哈士奇和预测目标具有极其相似的特性，而贵宾犬显然不具备这种共性。因此，在借助狗的图片训练模型的时候，我们给包含哈士奇的样本赋予更大的权重，给包含贵宾犬的样本赋予更小的权重，甚至是零。如此便有效地利用了源数据，大大提高了在目标数据上预测的准确率。

样本迁移的主要宗旨是“各取所需”：剔除可能产生误导的样本；而对于特征相似、对任务有帮助的样本，则让其扩充训练数据，充分做到物尽其用。