所谓finetuning,就是说我们针对某相似任务已经训练好的模型,比如CaffeNet,VGG-16,ResNet等,再通过自己的数据集进行权重更新,如果数据量比较小,可以只更新最后一层,其他层的权重不变,如果数据量中等,可以训练后面几层,如果数据量很大,那OK,直接从头训练,只不过花在训练的时间比较多。 在网络训练好之后,只需要forward...
预训练蒸馏（PD）：在预训练Mobile-BERT时使用知识蒸馏损失，采用BERT屏蔽语言建模（MLM）损失、下一句预...
其中包括 XLM-E 架构、MRTD 和 TRTD 的新型预训练任务、改进的训练数据和词汇，以及高级微调技术 xTune...
DeBERTa（Decoding-enhanced BERT with Disentangled Attention）是微软发表于ICLR2021上的预训练语言模型。20...
ERNIE 3.0 系列轻量级模型在精度和性能上的综合表现是比较强的，24L1024H的ERNIE 1.0-Large-zh-cw、...
deberta v3：微软开源的模型，在许多任务上超过了bert和roberta，现在kaggle中比较常用此模型打比赛，也...
直接查看最新的最强的模型SuperGLUE Benchmark SuperGLUE Benchmarksuper.gluebenchmark.com/leaderboard ...
T5算不算
确实，kaggle上好多deberta的top方案