在BERT出现以前,实体识别的SOTA模型是LSTM+CRF,模型本身很简单: 首先利用嵌入方法将句子中的每个token转化为向量再输入LSTM(或BiLSTM); 然后使用LSTM对输入的信息进行编码; 最后利用CRF对LSTM的输出结果进行序列标注。 LSTM+CRF 用在中文NER上,又可进一步分为两种:若token是词,那么模型就属于Word-based model;...
Lattice LSTM模型结构如上图右侧所示。在正式开始介绍Lattice LSTM前,我们先来看看上图左半部分。 (1)Lattice LSTM 名字来由 我们可以发现在上图左侧所示网络中,除主干部分基于字的LSTM外,还连接了许多「格子」,每个「格子」里各含有一个潜在的词,这些潜在词所含有...
Lattice LSTM模型是基于词汇增强方法的中文NER的开篇之作。在该模型中,使用了字符信息和所有词序列信息,具体地,当我们通过词汇信息(词典)匹配一个句子时,可以获得一个类似Lattice的结构。这种方式可以避免因分词错误导致实体识别错误,在中文NER任务上有显著效果。 模型结构 LSTM结构 LSTM是RNN的一个变体,能够有效解决梯...
传统的基于字级别的BiLSTM+CRF实现命名实体识别(NER),会受到实体词边界(切词)方面的影响,如图1所示。 图1 传统字符级别的NER的边界问题 可以看到,中国篮协是一个Organization,但是模型在标注的时候,将中国篮协主当成一个完整的Organization实体了。 传统的基于字级别的NER往往会存在这个问题,Lattice LSTM基于这个考虑在...
Lattice-LSTM模型分析 下图为Lattice-LSTM模型结构图: 优点:第一、它为每个字符保存所有可能匹配的单词。这可以通过启发式地选择与NER系统匹配的字符结果来避免错误传播。第二、它可以在系统中引入预先训练好的word嵌入,这对最终的性能有很大的帮助。 缺点:Lattice-LSTM模型的缺点是它将句子的输入形式从一个链式序列...
1.1 经典LSTM-CRF模型 实体识别通常被当作序列标注任务来做,序列标注模型需要对实体边界和实体类别进行预测,从而识别和提取出相应的命名实体。在BERT出现以前,实体识别的SOTA模型是LSTM+CRF,模型本身很简单: LSTM+CRF用在中文NER上,又可进一步分为两种:若token是词,那么模型就属于Word-based model;若token是字,那么模...
因此新加坡的研究者在 2018 年提出了一种 Lattice LSTM 的算法，可以利用词汇信息，也可以避免分词错误对模型的影响。1.前言 如上图所示，中文命名实体识别 NER 主要有 Character-based (基于字符) 方法和 Word-based (基于单词) 方法：基于单词的方法首先会利用分词模型对句子分词，然后把分好的单词序列传递到 NER...
近日，来自新加坡科技设计大学的研究者在 arXiv 上发布了一篇论文，介绍了一种新型中文命名实体识别方法，该方法利用 Lattice LSTM，性能优于基于字符和词的方法。与基于字符的方法相比，该模型显性地利用词和词序信息；与基于词的方法相比，lattice LSTM 不会出现分词错误。这篇论文已被 ACL 2018 接收。作为信息抽取...
命名实体识别Lattice LSTM 论文使用了Lattice结构LSTM模型应用于命名实体识别,模型对一系列输入字符以及所有与词典匹配的潜在单词进行编码,与基于字符的方法相比,我们的模型显式地利用了单词和单词序列信息。与基于词的方法相比,lattice LSTM不存在分割错误。模型利用显式单词进行字符序列标记,不会出现分割错误。
中文翻译2:ChineseNER Using LatticeLSTM笔记 介绍 这是一篇2018年发表于 ACL(自然语言处理顶会) 的论文,文中提出了一种基于格子(Lattice)结构的LSTM模型,用于优化中文的命名实体识别。具体方法结合了字序列和词序列两种方式(考虑可能出现的各种分词情况)。相对于基于"字序列”的方法,模型能兼顾词间关系;相对于”词...