DeepMind随后将压缩Transformer与TransformerXL在最新的PG-19书籍数据集上进行了基准测试,具体设置可以参看论文原文。结果如下图所示:可以看到,压缩Transformer的测试困惑度为33.6,TransformerXL的为36.3。尽管数据集很大,但显然这仍然是一个具有挑战性的领域,而这个测试结果可以作为这个长程语言建模基准的第一个基线。
DeepMind随后将压缩Transformer与TransformerXL在最新的PG-19书籍数据集上进行了基准测试,具体设置可以参看论文原文。结果如下图所示:可以看到,压缩Transformer的测试困惑度为33.6,TransformerXL的为36.3。尽管数据集很大,但显然这仍然是一个具有挑战性的领域,而这个测试结果可以作为这个长程语言建模基准的第一个基线。
而另一方面,为了提升对基于长程记忆的推理问题的研究,DeepMind的研究人员也开发了一个书籍级别的语言数据集PG-19。这个新的基准是目前已有的长时记忆基准的两倍还多,包含的上下文文本是长程语言模型基准测试WikiText-103的10倍以上。 论文链接:https://arxiv.org/pdf/1911.05507.pdf PG-19开源链接:https://github....
DeepMind随后将压缩Transformer与TransformerXL在最新的PG-19书籍数据集上进行了基准测试,具体设置可以参看论文原文。结果如下图所示: 可以看到,压缩Transformer的测试困惑度为33.6,TransformerXL的为36.3。尽管数据集很大,但显然这仍然是一个具有挑战性的领域,而这个测试结果可以作为这个长程语言建模基准的第一个基线。 3、...
DeepMind随后将压缩Transformer与TransformerXL在最新的PG-19书籍数据集上进行了基准测试,具体设置可以参看论文原文。结果如下图所示: 可以看到,压缩Transformer的测试困惑度为33.6,TransformerXL的为36.3。尽管数据集很大,但显然这仍然是一个具有挑战性的领域,而这个测试结果可以作为这个长程语言建模基准的第一个基线。
而另一方面,为了提升对基于长程记忆的推理问题的研究,DeepMind的研究人员也开发了一个书籍级别的语言数据集PG-19。这个新的基准是目前已有的长时记忆基准的两倍还多,包含的上下文文本是长程语言模型基准测试WikiText-103的10倍以上。 论文链接:https://arxiv.org/pdf/1911.05507.pdf ...
DeepMind随后将压缩Transformer与TransformerXL在最新的PG-19书籍数据集上进行了基准测试,具体设置可以参看论文原文。结果如下图所示: 可以看到,压缩Transformer的测试困惑度为33.6,TransformerXL的为36.3。尽管数据集很大,但显然这仍然是一个具有挑战性的领域,而这个测试结果可以作为这个长程语言建模基准的第一个基线。
DeepMind随后将压缩Transformer与TransformerXL在最新的PG-19书籍数据集上进行了基准测试,具体设置可以参看论文原文。结果如下图所示: 可以看到,压缩Transformer的测试困惑度为33.6,TransformerXL的为36.3。尽管数据集很大,但显然这仍然是一个具有挑战性的领域,而这个测试结果可以作为这个长程语言建模基准的第一个基线。