介绍最近在改pipeline parallel scheduler里面的东西,发现需要先看懂并行状态的设置和通信相关的代码才行。 代码: https://github.com/NVIDIA/Megatron-LM/tree/main/megatron/core/pipeline_parallelpipeline_p…