我们在提交MXNet的分布式任务时,需要知道各个GPU节点的IP地址,把这些IP地址放到一个hosts文件中,以供分布式训练使用。因此,一种常用的方式是先使用salloc或yhalloc申请若干节点,然后依次登录这些节点,查询它们的IP地址,手动写入到一个hosts文件中,再使用MXNet提供的脚本提交分布式训练任务。显然,这种方法具有很多劣势。首先...
$ salloc -n3 --mem-per-cpu=100 --threads-per-core=1 salloc: Granted job allocation 17200 $ sacct -j $SLURM_JOB_ID -X -o jobid%7,reqtres%35,alloctres%35 JobID ReqTRES AllocTRES --- --- --- 17200 billing=3,cpu=3,mem=300M,node=1 billing=6,cpu=6,mem=300M,node=1 --...
在超算系统上使⽤sbatch提交MXNet分布式训练任务 在超算系统上运⾏MXNet分布式训练任务时，⾯临着⼀个IP地址相关的问题。我们在提交MXNet的分布式任务时，需要知道各个GPU节点的IP地址，把这些IP 地址放到⼀个hosts⽂件中，以供分布式训练使⽤。因此，⼀种常⽤的⽅式是先使⽤salloc或yhalloc申请若⼲...