BERT类模型将语境引入建模。后续的改进包括:有效地利用外部知识,如知识图改进表征效果;通过控制BERT的MASK方法改进效果;BioBert利用医学领域数据训练模型,本文将结合上述几种方法,以训练中文医疗知识表征。 方法 相对BERT的改进有以下三部分: 全实体Masking MC-BERT以BERT为基础,因BERT中文以字为单位,文中方法利用知识图...
BERT类模型将语境引入建模。后续的改进包括:有效地利用外部知识,如知识图改进表征效果;通过控制BERT的MASK方法改进效果;BioBert利用医学领域数据训练模型,本文将结合上述几种方法,以训练中文医疗知识表征。 方法 相对BERT的改进有以下三部分: 全实体Masking MC-BERT以BERT为基础,因BERT中文以字为单位,文中方法利用知识图...
将实体和语言领域知识注入到模型,实现了基于医学的预训练模型MC-BERT。 相关工作 BERT类模型将语境引入建模。后续的改进包括:有效地利用外部知识,如知识图改进表征效果;通过控制BERT的MASK方法改进效果;BioBert利用医学领域数据训练模型,本文将结合上述几种方法,以训练中文医疗知识表征。 方法 相对BERT的改进有以下三部分...