6. nn.ReLU() 激活函数,小于0的都被截为0 7. nn.BatchNorm2d() 批量归一化 机器学习中,进行模型训练之前,需对数据做归一化处理,使其分布一致。在深度神经网络训练过程中,通常一次训练是一个batch,而非全体数据。每个batch具有不同的分布产生了internal covarivate shift问题——在训练过程中,数据分布会发生变化...
对于Xavier初始化方式,pytorch提供了uniform和normal两种: 5. kaiming (He initialization) Xavier在tanh中表现的很好,但在Relu激活函数中表现的很差,所何凯明提出了针对于Relu的初始化方法。 该方法基于He initialization,其简单的思想是: 在ReLU网络中,假定每一层有一半的神经元被激活,另一半为0,所以,要保持方差不...
2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b) U(a, b)U(a,b) 2. 正太分布 torch.nn.init.normal_(tensor, mean=0, std=1) 服从~N(mean,std) N...
2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b) U(a, b)U(a,b) 2. 正太分布 torch.nn.init.normal_(tensor, mean=0, std=1) 服从~N(mean,std) N...
2. nn.init 中各种初始化函数 3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 服从~U(a,b) U(a, b)U(a,b) 2. 正太分布 torch.nn.init.normal_(tensor, mean=0, std=1) ...