| 1、fp32->fp16半精度训练;2、BN->GN或Sync BN;3、学习率线性调小;4、不是pretraind网络部分,3*3->1*3+3*1,Group卷积;或在head设计层面,选择share weights的方式;5、更改代码:网络前向2次累计梯度,才反向更新一次梯度;6、del与释放不需要的张量或变量;7、relu()层的inplace参数,设为true,relu得到...