在Transformers中,特征抽取默认的模型是distilbert-base-cased。至于为什么使用distilbert而不是其他众多模型?稍微思考一下,首先distilbert较为轻量级这是肯定的。最重要的是,distilbert是HuggingFace的亲儿子。 所谓的特征提取其实就是去掉model head的模型输出了。使用这些特征,我们可以去进行下层任务的学习。当然所有的模型...