top-k选取梯度的绝对大小前k%个数目用来进行通信聚合,作为典型的稀疏化方法代表,也潜藏着损害测试精准度的风险。对于传统的使用固定压缩比的top-k方法而言,如果这个固定压缩比值小,即k值小,测试精准度与梯度未压缩的方法相比可能会下降,否则可能会由于梯度排序操作的高计算成本而延长训练时间。 5.分布式深度神经网络的...
本发明公开了基于Topk的支持复杂网络状况的自适应分布式梯度压缩方法,包括各分布式节点运行深度神经网络学习模型,完成梯度计算过程,保存当前轮数的训练精准度;运用事先部署于各分布式节点的自适应梯度压缩算法针对不同的网络状况产生压缩率调整决策;针对产生的压缩率调整决策,在各个分布式节点中自适应改变当前梯度压缩率;分布...