Motivation: 编译器实现是一项复杂而昂贵的活动。出于这个原因,人们对使用机器学习来自动化各种编译器任务产生了极大的兴趣,大多数工作都将注意力限制在选择编译器启发式或做出优化决策。现有的基于专家人工操作和基于机器学习的方法都不足以满足需求。(决策需要对程序及其行为进行推理。 专家决策通常依赖于数据流...
Fraboni, Yann, et al. "Clustered sampling: Low-variance and improved representativity for clients selection in federated learning." International Conference on Machine Learning. PMLR, 2021.CCF-A(PMLR'21) 本论文针对联邦学习之中的客户选择部分提出了优化算法。以聚类抽样的方法在不增加原本的各种...
通过实验可知,此算法的压缩率较高,在现实数据集中表现良好,该算法首先在客户端本地计算梯度,之后将梯度画像sketches发送到中央服务器中,中央服务器聚合梯度sketches,再将动量和误差累积,提取近似的 top-k 值,最后中央服务器将稀疏值更新到参与下一轮训练的客户端设备中。 本文提出FetchSGD算法来解决目前联邦学...