浅说“迁移学习”

2019-06-17 04:40发布

站内文章 / 前沿技术

71 0

贪生不怕死

女 | 书童

私信

什么是迁移学习？

迁移学习（Transfer Learning）是一种机器学习方法，是把一个领域（即源领域）的知识，迁移到另外一个领域（即目标领域），使得目标领域能够取得更好的学习效果。

通常，源领域数据量充足，而目标领域数据量较小，这种场景就很适合做迁移学习，例如我们我们要对一个任务进行分类，但是此任务中数据不充足（目标域），然而却又大量的相关的训练数据（源域），但是此训练数据与所需进行的分类任务中的测试数据特征分布不同（例如语音情感识别中，一种语言的语音数据充足，然而所需进行分类任务的情感数据却极度缺乏），在这种情况下如果可以采用合适的迁移学习方法则可以大大提高样本不充足任务的分类识别结果。

为什么现在需要迁移学习？

前百度首席科学家、斯坦福的教授吴恩达（Andrew Ng）在曾经说过：「迁移学习将会是继监督学习之后的下一个机器学习商业成功的驱动力」。

在本次2016年的 NIPS 会议上，吴恩达给出了一个未来 AI方向的技术发展图，还是很客观的：

毋庸置疑，监督学习是目前成熟度最高的，可以说已经成功商用，而下一个商用的技术将会是迁移学习（Transfer Learning），这也是 Andrew 预测未来五年最有可能走向商用的 AI技术。

吴恩达在一次采访中，也提到迁移学习会是一个很有活力的领域，我们之所以对迁移学习感到兴奋，其原因在于现代深度学习的巨大价值是针对我们拥有海量数据的问题。但是，也有很多问题领域，我们没有足够数据。比如语音识别。在一些语言中，比如普通话，我们有很多数据，但是那些只有少数人说的语言，我们的数据就不够庞大。所以，为了针对数据量不那么多的中国少数人所说的方言进行语音识别，能将从学习普通话中得到的东西进行迁移吗？我们的技术确实可以做到这一点，我们也正在做，但是，这一领域的进步能让人工智能有能力解决广泛得多的问题。

传统的机器学习与迁移学习有什么不同呢？

在机器学习的经典监督学习场景中，如果我们要针对一些任务和域 A 训练一个模型，我们会假设被提供了针对同一个域和任务的标签数据。如下图所示，其中我们的模型 A 在训练数据和测试数据中的域和任务都是一样的。

即使是跟迁移学习比较相似的多任务学习，多任务学习是对目标域和源域进行共同学习，而迁移学习主要是对通过对源域的学习解决目标域的识别任务。下图就展示了传统的机器学习方法与迁移学习的区别：

什么适合迁移？

在一些学习任务中有一些特征是个体所特有的，这些特征不可以迁移。而有些特征是在所有的个体中具有贡献的，这些可以进行迁移。

有些时候如果迁移的不合适则会导致负迁移，例如当源域和目标域的任务毫不相关时有可能会导致负迁移。

迁移学习的分类

根据 Sinno Jialin Pan 和 Qiang Yang 在 TKDE 2010 上的文章，可将迁移学习算法，根据所要迁移的知识表示形式（即 “what to transfer”），分为四大类：

基于实例的迁移学习（instance-based transfer learning）：源领域（source domain）中的数据（data）的某一部分可以通过reweighting的方法重用，用于target domain的学习。
基于特征表示的迁移学习（feature-representation transfer learning）：通过source domain学习一个好的（good）的特征表示，把知识通过特征的形式进行编码，并从suorce domain传递到target domain，提升target domain任务效果。
基于参数的迁移学习（parameter-transfer learning）：target domain和source domian的任务之间共享相同的模型参数（model parameters）或者是服从相同的先验分布（prior distribution）。
基于关系知识迁移学习（relational-knowledge transfer learning）：相关领域之间的知识迁移，假设source domain和target domain中，数据（data）之间联系关系是相同的。

前三类迁移学习方式都要求数据（data）独立同分布假设。同时，四类迁移学习方式都要求选择的sourc doma与target domain相关，

下表给出了迁移内容的迁移学习分类：