谷歌AI团队新发布的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑,BERT模型开启了NLP的新时代!而谷歌提出的BERT就是在OpenAI的GPT的基础上对预训练的目标进行了修改,并用更大的模型以及更多的数据去进行预训练,从而...
采用BERT屏蔽语言建模（MLM）损失、下一句预测（NSP）损失和新的MLM知识蒸馏（KD）损失的线性组合作为预...
其中包括 XLM-E 架构、MRTD 和 TRTD 的新型预训练任务、改进的训练数据和词汇，以及高级微调技术 xTune...
DeBERTa从两方面改进了BERT预训练的方法：自注意力「解耦」机制 用2个向量分别表示content 和 position，...
ERNIE 3.0 系列轻量级模型在精度和性能上的综合表现是比较强的，24L1024H的ERNIE 1.0-Large-zh-cw、...
deberta v3：微软开源的模型，在许多任务上超过了bert和roberta，现在kaggle中比较常用此模型打比赛，也...
直接查看最新的最强的模型SuperGLUE Benchmark SuperGLUE Benchmarksuper.gluebenchmark.com/leaderboard ...
T5算不算
确实，kaggle上好多deberta的top方案