top-k选取梯度的绝对大小前k%个数目用来进行通信聚合,作为典型的稀疏化方法代表,也潜藏着损害测试精准度的风险。对于传统的使用固定压缩比的top-k方法而言,如果这个固定压缩比值小,即k值小,测试精准度与梯度未压缩的方法相比可能会下降,否则可能会由于梯度排序操作的高计算成本而延长训练时间。 5.分布式深度神经网络的...