自监督对比学习综述、应用与代码实现(3.3)-MoCo V3 2019年,Facebook AI团队 (FAIR)提出的MoCo,接着Google 发布了SimCLR,引爆Self-supervised Learning。于是看论文,边看边写日志边写代码,以防看完就忘,有些笔记边Google翻译边理解,不一定正确,望见谅。部分注释来自Wikipedia、百科、网络搜索等,来源不一一列举,如有...
this will be slow')elifargs.distributed:# apply SyncBN,要理解SyncBN可以仔细看一下参考[1]# 简单理解SyncBN就是多卡模式的Batch Normalization (BN)# 把是或者继承了torch.nn.modules.batchnorm._BatchNorm的BN全部替换成SyncBN# 所以在写model时,BN必须用...