在3 GPUs(GTX 1080 Ti)上训练50000步,每两步进行一次梯度累积。 保存和评估模型的checkpoints,是在验证集上每1000步进行一次。 使用验证集上的评估损失,我们选取损失最低的3个checkpoints,然后报告测试集上的平均结果。 我们使用贪心算法来获取每篇文章的最佳的摘要来训练提取模型。这个算法生成一个最佳的包含多个句...
目前有各种各样的技术用来增强摘要性能,包括复制机制(copying mechanisms)、增强学习、多交互编码器(multiple communicating encoders)。我们使用最小需求的模型、没有使用任何其他的机制就获取了更好地结果。 我们展示了在抽取和抽象的设置下有效利用预训练模型进行摘要的方法;我们希望在模型与训练中的任何改进都能更好...
论文标题:Text Summarization with Pretrained Encoders 论文来源:EMNLP-IJCNLP 2019 论文链接:arxiv.org/abs/1908.0834 论文提出了将BERT运用于文本摘要生成的方法,并且为抽取式和生成式模型提出了一个通用的框架。在BERT的基础上提出了创新的document-level的编码器,这个编码器可以表达文档的语义并获取其中句子们的表示...
论文笔记 | Text Summarization with Pretrained Encoders 该论文来自EMNLP2019,论文地址 文章目录 概述 Introduction BERT 抽取式摘要 生成式摘要 评价指标 BERT 编码器 抽取式模型 生成式模型 实验及分析 总结 概述 本文提出了基于BERT的文档级编码器,该编码器能够表达文档的语义,并获得文档的句子表示。并分别提出了抽...
【论文阅读 EMNLP-2019】Text Summarization with Pretrained Encoders,程序员大本营,技术文章内容聚合第一站。
The researchers use a standard encoder-decoder framework for abstractive summarization. The encoder is the pretrained BERTSUM and the decoder is a 6-layered Transformer initialized randomly. Since the encoder is pre-trained while the decoder is not, a mismatch between the two is possible. The enco...
This code is for EMNLP 2019 paperText Summarization with Pretrained Encoders Updates Jan 22 2020: Now you canSummarize Raw Text Input!. Swith to the dev branch, and use-mode test_textand use-text_src $RAW_SRC.TXTto input your text file. Please still use master branch for normal training...
code for EMNLP 2019 paper Text Summarization with Pretrained Encoders - GitHub - Mars-Wei/PreSumm: code for EMNLP 2019 paper Text Summarization with Pretrained Encoders
According to news reporting out of the Department of Computer Science by NewsRx editors, research stated, "The extractive summarization approach involves selecting the source document's salient sentences to build a summary." 关键词: Department of Computer Science Computational Intelligence and ...
《Text Summarization with Pretrained Encoders》 论文来源:EMNLP 2019 论文链接:arxiv.org/abs/1908.0834 问题介绍: 预训练的语言模型在许多自然语言处理任务中都取得了最新的进展,Bert在大量文本上进行预训练,具有无监督的目标,即屏蔽语言建模和下一个句子预测,并且可以针对不同的任务特定目标进行微调。 本文研究了语...