本发明公开了基于Topk的支持复杂网络状况的自适应分布式梯度压缩方法,包括各分布式节点运行深度神经网络学习模型,完成梯度计算过程,保存当前轮数的训练精准度;运用事先部署于各分布式节点的自适应梯度压缩算法针对不同的网络状况产生压缩率调整决策;针对产生的压缩率调整决策,在各个分布式节点中自适应改变当前梯度压缩率;...
top-k选取梯度的绝对大小前k%个数目用来进行通信聚合,作为典型的稀疏化方法代表,也潜藏着损害测试精准度的风险。对于传统的使用固定压缩比的top-k方法而言,如果这个固定压缩比值小,即k值小,测试精准度与梯度未压缩的方法相比可能会下降,否则可能会由于梯度排序操作的高计算成本而延长训练时间。 5.分布式深度神经网络的...
在各个分布式节点中自适应改变当前梯度压缩率;分布式梯度通信过程完成后,各分布式节点保存当前轮数的通信时间,重复进行下一轮的分布式神经神经网络训练.本发明结合分布式深度神经网络训练中的多维度评估特征进行自适应地调整梯度通信压缩率,适用于复杂的实时网络情况,减少分布式深度神经网络的训练时间,提升测试数据集的精准度...