这样做就能使得即使相似度不高的几个task之间,也能进行transfer learning的。 再来看一种形式的transfer learning,叫做Domain-adversarial training 这种方法是说,当我们的Source data具有label的时候,Target data不具有label的时候,我们就要采取一种叫做Domain-adversarial的方法 Task description Source data:(x^s,y^s)...
二、multitask learning多任务学习 如下图,左边是共享输入的几个layer,输出不同;右边是,输入输出都不一样,但是中间的layer 是共享的。前提是task需要在某一层面上是有关联或者是相似的。 多任务学习的成功案例:多语言辨识,因为虽然语言是不同,但是具有一定的通用性。 三、domain-adversarial training 当source data...
2. Multitask Learning 同时在源数据领域和目标数据领域的效果要好。 几乎所有的语言都可以迁移。 3. Domain-adversarial training 任务描述 目标数据:(xt)(x^{t})(xt) ===> 测试数据 源数据:(xs,ys)(x^{s},y^{s})(xs,ys) ===> 训练数据 目标数据和源数据非常不匹配 例子:图像辨识 目标数据:...
加一个gradient reversal layer:在计算back propagation的back path时,domain classifier传给feature抽取什么样的value都要加上负号,故意做和domain classifier要求相反的事情,最终一定会混淆掉来自哪个domain。 五、zero-shot learning 在语音辨识中,辨识的单位不是word而是phoneme,做一个phoneme与文字对应的表,只要辨识出ph...
3.2.1域对抗 Domain-adversarial training 如下图任务:识别彩色的识别手写体 MNIST中,数据有标签 MNIST-M中,不使用数据标签 思想: 两类不同Domain的图像目标:将Domain消除掉 实际上识别过程可以分为两部分:1.抽取特征(如得到一个4096维的向量),2.分类(到底是1,2,3···) ...
上图显示,Domain-adversarial training算法确实提高了仅由Source Data训练得到的模型的表现。 上面我们讲的是Source Data和Target Data虽有差别,但都可以用于同一项任务的情况,倘若Source Data和Target Data是用于不同任务呢? 现实生活中我们确实会面临这种类型的问题,在语音识别任务中,即使我们的训练语料很丰富,但也不能...
本文讨论机器学习中transfer learning的若干主要问题:model fine-tuning, multitask learning, domain-adversarial training 以及 zero-shot learning。话不多说,让我们一起学习这些内容吧。 春节充电系列:李宏毅2017机器学习课程学习笔记01之简介 春节充电系列:李宏毅2017机器学习课程学习笔记02之Regression...
Domain-adversarial Training 如果source data是有label的,而target data是没有label的,该怎么处理呢? 比如source data是labeled MNIST数字集,而target data则是加了颜色和背景的unlabeled数字集,虽然都是做数字识别,但两者的情况是非常不匹配的。 这个时候一般会把source data当做训练集,而target data当做测试集,如果不...
Multitask Learning 很成功的例子就是多语言翻译,如上。 Progressive Neural Networks 如上,用之前任务的中间层去训练下一任务对应层的输出。但是这个方法还存在不少问题。 Domain-adversarial training 如上,如果把神经网络的某层抽出来,你会发现,不同 domain 的数据,其分布根本不同。
迁移学习概述(Transfer Learning) 迁移学习概述 背景 定义及分类 关键点 基于实例的迁移 基于特征的迁移 特征选择 特征映射 基于共享参数的迁移 深度学习和迁移学习结合 Pre-training+Fine-tuning DANN (Domain-Adversarial Neural Network) 参考文献 迁移学习概述 背景 随着越来越多的机器学习应用场景的出现,而现有表现比...