https://github.com/microsoft/unilm 相关论文链接: BEiT: BERT Pre-Training of Image Transformers https://openreview.net/forum?id=p-BhZSz59o4 BEiT-2: Masked Image Modeling with Vector-Quantized Visual Tokenizers https://arxiv.org/abs/2208.06366 Image as a Foreign Language: BEiT Pretraining for ...
https://github.com/microsoft/unilm/tree/master/beit
微软最近在GitHub上发布了BEiT v2的代码和模型权重，共同作者Li Dong在Twitter上表示，BEiT-3很快就会开源。
BEIT-3 里采用的是 VLMo[1] 中使用的 Mixture-of-Modality-Experts, MoME,这里改了个名字叫 Multiway Transformer,这个架构的特点如下图2所示。 主流多模态模型分为两种,一种是双塔结构 (Dual Encoder),主要用来做多模态检索任务;一种是单塔结构 (Fusion Encoder),主要用来做多模态分类任务。VLMo 相当于是一...
其中，VLMo中提出了Multiway Transformers这个大道至简但又行之有效的架构。将多种模态对应到不同的FFN...
开源:https://github.com/SwinTransformer/Feature-Distillation 掩蔽图像建模(MIM)学习表示具有非常好的微调性能,掩盖了以前流行的预训练方法,如图像分类、实例对比学习和图像文本对齐。在本文中,我们表明,通过以特征蒸馏(FD)的形式进行简单的后处理,可以显著改善这些预训练方法较差的微调性能。特征提取将旧表示转换为新...
https://github.com/microsoft/unilm 相关论文链接: BEiT: BERT Pre-Training of Image Transformers https://openreview.net/forum?id=p-BhZSz59o4 BEiT-2: Masked Image Modeling with Vector-Quantized Visual Tokenizers https://arxiv.org/abs/2208.06366 ...
https://github.com/microsoft/unilm 相关论文链接：BEiT: BERT Pre-Training of Image Transformers http...