load_state_dict(checkpoint['optimizer_state_dict']) epoch = checkpoint['epoch'] loss = checkpoint['loss'] # 加载 checkpoint,用来初始化模型、优化器、loss之后,如果是想inference,调用 model.eval(),这样才能确保 dropout 和 batch normaliztion 层变为 evaluation 模式。 # 如果没有调用 model.eval(),...
“Task Relation”列显示了语言模型(LM)和其他NLP任务(CLS:分类、标记:序列标记、GEN:文本生成)之间的关系。虚线表示可以通过共享预训练模型的参数来连接不同的任务。“LM→Task”表示使LMs(目标)适应下游任务,而“Task”→LM”表示将下游任务调整到LMs。 然而,从2017-2019年,NLP模型的学习发生了巨大变化,这种完全...