GPT2是在一个名为WebText的40GB数据集上训练的,数据来源是从网上抓取的。GPT2系列共有 5个模型:distilgpt2-small,gpt2(gpt2-small),gpt2-medium,gpt2-large和gpt2-xl。目前我们只使用gpt2和gpt2-large这两个模型。GPT2需要占用500MB的存储空间来存储其所有参数,而GPT2-large是GPT2的13倍,占用超过6.5GB的...