即使在低监督水平下,PEGASUS_{LARGE}(HugeNews)在 XSum 和 CNN/DailyMail 数据集上的表现也未明显逊色于人工摘要。然而,在 Reddit TIFU 数据集上,由于该数据集包含多种不同的写作风格,模型在无监督或低监督情况下的表现不及人工,需要使用完整的监督数据才能达到人工水平。 6.5 测试集与预训练语料的重叠 预训练...
这篇文章之后是一篇示例文章来自 XSum 数据集以及模型生成的抽象摘要。该模型正确地将四艘命名护卫舰(HMS Cumberland、HMS Campbeltown、HMS Chatham 和 HMS Cornwall)抽象和解释为“四艘皇家海军护卫舰”,这是提取方法无法做到的,因为在任何地方都没有提到“四”。这是侥幸还是模型真的很重要?找出问题的一种方法是添...
在这篇文章之后是一篇示例文章来自 XSum 数据集以及模型生成的抽象摘要。该模型正确地将四艘命名的护卫舰(HMS Cumberland、HMS Campbeltown、HMS Chatham 和 HMS Cornwall)抽象和解释为“四艘皇家海军护卫舰”,这是提取方法无法做到的,因为“四”在任何地方都没有提到。这是侥幸还是模型真的算数?找出答案的一种方法是...
在这篇文章之后是一篇示例文章来自 XSum 数据集以及模型生成的抽象摘要。该模型正确地将四艘命名的护卫舰(HMS Cumberland、HMS Campbeltown、HMS Chatham 和 HMS Cornwall)抽象和解释为“四艘皇家海军护卫舰”,这是提取方法无法做到的,因为“四”在任何地方都没有提到。这是侥幸还是模型真的算数?找出答案的一种方法是...
表2:PEGASUSLARGE与XSum、CNN/DailyMail和Gigaword上其他预训练模型的比较。最佳结果用粗体显示。 表1和表2显示了PEGASUSBASE和PEGASUSLARGE在下游数据集上的性能改进。虽然PEGASUSBASE在许多数据集上都超过了当前的SOTA水平,但PEGASUSLARGE在使用HugeNews的所有下游数据集上都取得了比当前水平更好的结果,尽管C4在WikiHow...
文中所提及的CNN/DailyMail和XSum两个数据集上得到了比以往模型更好的效果。 而本文提出了GSG这个新颖且更加针对于文本摘要的预训练目标进一步的提升了预训练模型在这项任务上的有效性和优异性... Summarization)是Google Brain和帝国理工提出的一种新的自动文本摘要模型。PEGASUS同样基于Transformer进行模型构建,并针对...
xsum45.20/22.06/36.9947.21/24.56/39.2547.60/24.83/39.64 cnn_dailymail43.90/21.20/40.7644.17/21.47/41.1144.16/21.56/41.30 newsroom45.07/33.39/41.2845.15/33.51/41.3345.98/34.20/42.18 multi_news46.74/17.95/24.2647.52/18.72/24.9147.65/18.75/24.95 ...
我正在使用Huggingface的预先训练好的Pegasus模型获取Inshort数据集的摘要。PegasusForConditionalGeneration, PegasusTokenizer model = PegasusForConditionalGeneration.from_pretrained("google/pegasus-xsum&quo 浏览134提问于2021-10-13得票数 0 2回答 两个OO问题reg构造函数 、 extends Animal { System.out.println("Cl...
Go to https://huggingface.co/transformers/model_doc/pegasus.html#pegasusforconditionalgeneration Run the summarization example in the section PegasusTokenizer.from_pretrained('google/pegasus-xsum') returns None. PegasusTokenizer also returns None for 'google/pegasus-large' Expected behavior Should return ...
对模型结果进行人工评估,结果表明在 XSum, CNN/DailyMail 和 Reddit TIFU 上的摘要效果与人工摘要比肩。 预训练目标 提出了一个新的预训练目标GSG,但是为了比较,我们还评估了单独的BERT掩码语言模型和与GSG结合的BERT。 1.Gap Sentences Generation (GSG) ...