一般rank编号为0的进程会作为master进程 具体举个例子:当前有2个节点,每个节点有8块GPU卡,然后启动多机多卡的分布式训练用满这16块卡,这时候: node_rank: [0,1] rank: [0,1,2,3,4,...,15] loacal_rank: 节点1上[0,1,2,..,7], 节点2上[0,1,2,..,7] word_size: 16 如果通过python -m ...