为了提取句子,我们的提取模型是建立在编码器的顶层,通过叠加一些句间Transformer层来获取篇章级特征。而抽象模型提出了一个编码器-解码器结构,结合相同的预训练bert编码器(使用随机初始化的Transformer解码器)。论文设计了一个新的训练流程,能够分开编码器和解码器的优化步骤来适应编码器和解码器,因为前者是预训练的,...
为了提取句子,我们的提取模型是建立在编码器的顶层,通过叠加一些句间Transformer层来获取篇章级特征。而抽象模型提出了一个编码器-解码器结构,结合相同的预训练bert编码器(使用随机初始化的Transformer解码器)。论文设计了一个新的训练流程,能够分开编码器和解码器的优化步骤来适应编码器和解码器,因为前者是预训练的,...
《Text Summarization with Pretrained Encoders》aclweb.org/anthology/D1 EMNLP 2019 abstract 提出用于抽取和摘要模型的通用框架,引进 document-level 的 encoder。extractive 模型基于这种 encoder 构建,堆叠几个 inter-sentence transformer layers;abstractive 摘要问题,我们提出一种新的微调模式以适应编解码器不同的 ...
论文阅读 《Text Summarization with Pretrained Encoders》 看了一篇摘要的文章,用BERT去做摘要,主要展示了预训练模型可以给文本摘要带来提升,对于生成式摘要和抽取式摘要都做了实验,生成式摘要用BERT做Encoder,抽取式摘要直接把BERT当embedding用 文献阅读笔记-MASS: Masked Sequence to Sequence Pre-training for Lang...
【EMNLP2019】Text Summarization with Pretrained Encoders 这篇论文主要提出一种基于BERT的框架来做抽取和生成两种文本摘要方法。对于生成式摘要来说需要语言生成模型包含新颖的单词和短语摘要。对于抽取式任务来说通常当作对句子进行二分类任务。文中提出了一种新颖的基于Bert的文档编码器,使其能够获得文档和句子的表征,...
Text Summarization with Pretrained Encodersdoi:10.18653/V1/D19-1387Yang LiuMirella LapataAssociation for Computational Linguistics
【EMNLP2019】Text Summarization with Pretrained Encoders 这篇论文主要提出一种基于BERT的框架来做抽取和...
论文笔记 | Text Summarization with Pretrained Encoders 该论文来自EMNLP2019,论文地址 文章目录 概述 Introduction BERT 抽取式摘要 生成式摘要 评价指标 BERT 编码器 抽取式模型 生成式模型 实验及分析 总结 概述 本文提出了基于BERT的文档级编码器,该编码器能够表达文档的语义,并获得文档的句子表示。并分别提出了抽...
14 Download Download Text Summarization with Pretrained Encoders TransAbs Bib 15 Download Download Abs 16 Download Download ExtAbs 17 Download Download Pretraining-Based Natural Language Generation for Text Summarization Bib 18 Download Download Unified Language Model Pre-training for Natural Language Unders...
Milad Moradi, Nasser Ghadiri.Different approaches for identifying important concepts in probabilistic biomedical text summarization. arXiv:1605.02948, 2016. Kikuchi, Yuta, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura.Controlling Output Length in Neural Encoder-Decoders. arXiv:1609.09552...