BUILD THE NEURAL NETWORK (构建神经网络) 神经网络由 layers/modules 组成,torch.nn 提供了所有的你需要构建自己的神经网络的 blocks , 每个 module 都在 PyTorch 子类 nn.Module 找到。神经网络本身就是一个 module , 由其他的 modules (layers) 组成,这种嵌套的结构允许轻松的构建和管理复杂的框架结构。 在下面...
我们的模型将仅使用encoder模块,因此我们只需要定义encoder部分的代码。下面是定义模型架构的代码: classTransformerModel(nn.Module):def__init__(self,input_dim,hidden_dim,num_attention_heads):super(TransformerModel,self).__init__()self.input_dim=input_dim self.hidden_dim=hidden_dim self.num_attention...