MTL-BERT :一种结合BERT 的中文文本多任务学习模型 武乾坤，彭敦陆 (上海理工大学光电信息与计算机工程学院，上海200093)E-mail :pengdl@ usst. edu. cn 摘要：单任务学习常常受限于单目标函数的不足，多任务学习能有效利用任务相关性的先验性，故而受到了学界的关注.在 中文自然语言处理领域，关于多任务学习的...
首先将BERT作为特征提取器以提升模型的泛化性.其次分类和回归是机器学习中的两个主要问题,针对多标签分类和回归的混合任务,提出了一种任务权重自适应框架.该框架下,任务之间的权重由联合模型参数共同训练.最后从模型最大似然角度,理论验证了该多任务学习算法的有效性.在真实中文数据集上的实验表明,MTL-BERT具有较好的...