Tesla V100是NVIDIA最新款加速器,Volta架构是NVIDIA第一款专为AI打造的Tensor核心技术的GPU架构,为DGX-1提供了更高的AI和HPC计算能力。每个V100加速器配有的GV100 GPU包含80个流多元处理器(SM)。 ▲Tesla V100加速器 2、NVIDIA NVLink技术 每个Tesla V100拥有6个NVLink连接,分别具有50GB/秒的双向带宽,双向总带宽...
使用DGX1之后,充分利用机器的性能,参数扩大到原来八倍。最终翻译效果有明显的提升。在DGX1上训练出来的big model对长句的处理能力会明显优于单卡上训练出来的medium model,模型BLEU得分在统一测试集上高出3分左右。 在超级计算机DGX-1的加持下,模型构建基于 Tesla V100 GPU,平台能训练近亿句平行语料,并且同时训练多...