据此我们可以看出来,首先如果我们的网络模型一直变的话,那肯定是不能设置cudnn.benchmark=True的。因为网络结构经常变,每次 PyTorch 都会自动来根据新的卷积场景做优化:这次花费了半天选出最合适的算法出来,结果下次你结构又变了,之前就白做优化了。不仅如此,还得要根据这个新的结构继续做选择最高效的算法组合,又花...