作者:杨强 来源:科学网 www.sciencenet.cn 发布时间:2017/7/26 21:13:35
选择字号:
深度学习的下一站:迁移学习

 

当前,人工智能的主流算法——深度学习模型在语音识别、图像识别、信息推荐等方面已经非常有影响,但是在医疗、教育等领域的应用还存在困难。这缘于以下三个方面:

第一,在医疗、教育领域能够接触到的数据往往都是小数据,而不是大数据。比如,教育、医疗、基因检测等的个人数据,实验、学生测验、客服问答等数据都只是小数据。只有实现了从大数据向小数据迁移的通用模型,才能帮助更多的领域用上人工智能,让人工智能更普及。

第二,深度学习模型非常脆弱,离开现有场景或稍加移动,其效果就会打折扣。对机器学习而言,由于训练数据与应用数据有所区别,被训练出来的模型在应用中就会遭遇这类可靠性问题。

第三,机器学习模型难以实现应用的个性化。例如,在推荐类的信息服务上,机器学习很难适用于个人行为。如果要实现这一点,需要解决如何把云端的通用模型适配到终端小数据。

上述深度学习面对的可靠性和应用个性化的问题,是迁移学习比较适合的事情,迁移学习原理上可帮助机器学习从云端向移动端迁移。

深度学习的一个自然发展方向就是迁移学习。迁移学习能让深度学习变得更加可靠,还能帮我们理解深度学习的模型。比如,我们能够知晓哪部分特征容易迁移,这些特征所对应的是某个领域比较高层、抽象的一些结构型概念。把它们和细节区分开,就能让我们对这个领域的知识表达形成一个很深的理解。这样一来,机器学习就可以像生物的神经系统一样终身学习,不断地对过去的知识进行总结、归纳,让一个系统越学越快,而且在学习过程中还能发现如何学习。

深度学习的特点是用非线性把原始的特征从低层转化到高层,这个过程很复杂,其优点有目共睹,但副产品是特征分层。恰巧,这种层次对于迁移学习是有好处的,比如,能够对迁移学习的效果进行量化。

等深度学习有了一定的发展后,迁移学习就有可能实现这一点,让算法不再仅仅运行指定的学习任务,而是能举一反三,变得比以前更加通用。

而且,在不同的迁移目标下,知识可以从一个领域到另一个领域,在不同层次迁移,并且能迁移多少是可以定量的——这在过去还停留在“能不能迁移”,现在已经可以精确地知道哪些可以迁移:是一部分参数,还是一部分特征。

另外,当几个不同的任务一起学习时,往往会有一些惊人的发现,这就是多任务学习。多任务学习往往会发现不同的领域所共有的知识,往往很容易抽象出高层的知识,也就很容易用来表达不同领域之间的共性。所以,多任务学习和迁移学习的目标是一致的,都是要实现比较稳定的知识表达,殊途而同归。

(作者系香港科技大学计算机与工程系主任、AAAI Fellow,本报记者赵广立整理)

 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 
SSI ļʱ
相关新闻 相关论文

图片新闻
银河系发现巨大黑洞 史上最亮伽马射线暴来自一颗坍缩的恒星
中国天眼揭秘宇宙“随机烟花” 导师:年年审毕业论文,总有这些问题!
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文
 
论坛推荐