迁移学习(英語:Transfer learning)是属于机器学习的一种研究领域。它专注于存储已有问题的解决模型,并将其利用在其他不同但相关问题上。[1] 比如说,用来辨识汽车的知识(或者是模型)也可以被用来提升识别卡车的能力。计算机领域的迁移学习和心理学常常提到的学习迁移在概念上有一定关系,但是两个领域在学术上的关系非常有限。
最早被引用的关于迁移学习的工作被认为属于洛麗安·普拉特。他在1993年制定了基于可辨识性的转移(DBT)算法。[2]
1997年,机器学习期刊发表了一期专门讨论迁移学习的期刊,[3] 而到了1998年,该领域已经发展到包括多任务学习,[4] 以及对其理论基础的更深入完善的分析。[5] 1998年,由普拉特和塞巴斯蒂安·特龍编辑的《Learning to Learn》便是对该主题的回顾。
迁移学习也被应用于认知科学,比如《Connection Science》杂志就于1996年出版了一版特殊期刊,描述了如何通过使用迁移学习重新利用已有神经网络。[7]
迁移学习是由域和任务定义的。域由特征空间和边缘概率分布构成,其中。给定域,任务由标签空间和目标预测函数两部分组成,函数预测对应的标签。任务是从含有样本对的训练数据中学习得到的,其中。[8]
给定原域及其任务,目标域及其任务(满足或),迁移学习旨在通过利用和的知识,帮助学习域的目标预测函数。[8]
迁移学习的算法基础可以源自马尔可夫逻辑网络[9]和贝叶斯网络。[10]迁移网络还被利用与发现癌症种类
[11]、建筑物人员限额[12]、普适智能游戏玩家[13]、语句分类[14][15]以及筛选垃圾邮件(短信)。[16]
Caruana, R., "Multitask Learning", pp. 95-134 in Pratt & Thrun 1998 harvnb error: no target: CITEREFPrattThrun1998 (help)
Baxter, J., "Theoretical Models of Learning to Learn", pp. 71-95 Pratt & Thrun 1998 harvnb error: no target: CITEREFPrattThrun1998 (help)
Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NIPS 2018), Montréal, Canada. https://arxiv.org/pdf/1810.09433.pdf (页面存档备份,存于互联网档案馆)