首先这件事还要从序列到序列模型(Seq2seq Model)开始说起,最早的序列到序列模型是一个CNN+LSTM。 简单来说就是把CNN把编码端映射成一个固定向量,然后用LSTM一步步解码。 接着一个自然的想法是使用LSTM[1],因为LSTM的处理序列能力更强嘛。那么一种简单的做法是将编码端的最后一个隐层状态作为解码端的初始状态。
7.发明目的:本发明提出一种基于bi-lstm-mhsa(bi-directional long short-term memory-multi-head selfattention双向长短记忆网络和多头注意力机制)的医疗文本分类方法及装置,将bi-lstm与多头注意力机制集合,提高了语料的拓展性来增强模型对语言的表达能力,提高了对医疗文本的特征提取能力。8.技术方案:本发明提出一种...
本发明公开了一种基于BILSTMMHSA的医疗文本分类方法及装置,对预先获取的医疗文本进行预处理;使用改进的CBOW模型生成新的字嵌入作为医疗文本表示;利用BILSTMMHSA单元结构对每个待分类医疗文本进行特征提取;在输出层输出分类结果,得到各个类别的概率.本发明对CBOW模型进行改进,提高文本特征词所处文本的不同位置时的分类能力...