目前CV和NLP都出现了非常强大的无监督预训练,并且在生成式和判别式都各有造诣,本文主要想归纳一下CV和NLP各自领域的生成式和判别式的代表作及设计思路。其中CV的生成式以iGPT为例,判别式以SimCLR为例;NLP的生成式以BERT为例,判别式以SimCSE为例。有意思的是,iGPT的灵感来源于BERT,而SimCSE的灵感来源于SimCLR,...
具体而言，CV领域的生成式预训练以iGPT为代表，而判别式预训练以SimCLR为代表；在NLP领域，生成式预训练以BERT为代表，判别式预训练以SimCSE为代表。有趣的是，iGPT的灵感来源于BERT，而SimCSE的灵感则来自SimCLR，这充分展示了CV和NLP领域之间的相互滋养和互补性。BERT在无监督预训练方法中主要分为两种...
有意思的是,iGPT的灵感来源于BERT,而SimCSE的灵感来源于SimCLR,这充分展现了CV和NLP两个方向相互哺育,相辅相成的景象。 BERT BERT之前主要有两种主流的无监督预训练方法:feature-based和fine-tuning。 feature-based方法 之前的ELMo无监督预训练属于feature-based的方法,先独立训练从左到右和从右到左的LSTM,然后将...