模型:CNN,2NN,LSTM; 以下图表为实验结果数据,通过增加并行度(增大C)和增加clients本地的计算量(增大u),可有效减少通信代价(这里使用通信轮数来衡量)。5.总结和展望 本文通过实验表明,联邦学习是可行的。因为FedAvg使用相对较少的通信轮数训练出了高质量的模型,这在各种模型架构上都是适用的,包括一个多层感知器、...
对于CNN来说,IID增长速度较快,34.8x,non-IID为2.8x 对于LSTM莎士比亚数据集来说,反而是non-IID表现较好95.3x。推测可能是某些角色有较大的数据集,所以增加本地训练有价值。 在这三个model中,FedAvg比FedSGD收敛到准确性更高的水平。因此推测,除了降低通信成本外,模型平均还产生了与dropout正则化相似的优化效果。
# 通信轮数 rounds = 100 # client比例 C = 0.1 # clients数量 K = 100 # 每次通信在本地训练的epoch E = 5 # batch size batch_size = 10 # 学习率 lr=0.001 # 数据切分 data_dict = NonIID(mnist_data_train, 100, 200, 300, 2) #导入模型 mnist_cnn = CNN() mnist_cnn_non_iid_trained...
与传统分布式机器学习相比，联邦学习着重解决数据控制权、通信代价、稳定性等问题，特别是在不同设备参与训练的场景下。通过FedAvg算法，模型聚合时考虑各客户端数据量占比，有效优化了通信效率。实验结果显示，联邦学习在MNIST、CIFAR、SHAKESPEARE等数据集上，以及CNN、2NN、LSTM等模型上均表现良好。通过增加...
--model_name String "cnn" name of the model (cnn, mlp) --non_iid Int (0 or 1) 1 0: IID, 1: Non-IID --n_clients Int 100 number of the clients --n_shards Int 200 number of shards --frac Float 0.1 fraction of clients in each round --n_epochs Int 1000 total number of rou...
py -lbs 10 -nc 20 -jr 1 -nb 10 -data Cifar10 -m cnn -algo cwFedAvg -gr 1000 -cw -did 0 -go cnn # cwFedAvg with Local Class Distribution cd system python main.py -lbs 10 -nc 20 -jr 1 -nb 10 -data Cifar10 -m cnn -algo cwFedAvg -gr 1000 -cw -gt -did 0 -go cnn ...
# # 'FedAvg,lenet5,cifar10','FML,cnn1,cifar10','FedAvg,cnn1,cifar10', # plt.legend(['FML,lenet5,cifar10','FML,mlp,mnist','FedAvg,mlp,mnist']) # plt.tight_layout() # plt.savefig('./save/108/1.png') # print("绘图完毕") 深圳...
class CNN(nn.Layer): def __init__(self): super(CNN,self).__init__() self.conv1=nn.Conv2D(1,32,5) self.relu = nn.ReLU() self.pool1=nn.MaxPool2D(kernel_size=2,stride=2) self.conv2=nn.Conv2D(32,64,5) self.pool2=nn.MaxPool2D(kernel_size=2,stride=2) ...
class CNN(nn.Layer): def __init__(self): super(CNN,self).__init__() self.conv1=nn.Conv2D(1,32,5) self.relu = nn.ReLU() self.pool1=nn.MaxPool2D(kernel_size=2,stride=2) self.conv2=nn.Conv2D(32,64,5) self.pool2=nn.MaxPool2D(kernel_size=2,stride=2) self.fc1=nn.Line...
在CNN 和 LSTM 上的测试结果,其中 LSTM 的任务是在莎士比亚全集上预测 论文测试了大量情况下的准确率、loss 值变化。 本地每次训练的轮数 E 不能设得很大,否则可能难以收敛。 编辑于 2023-07-27 07:28・IP 属地安徽 内容所属专栏 论文笔记 记录读论文的思考与理解。 订阅专栏 ...