总之这种情况下想要自定义optimizer,就会变得比较麻烦。 最后,有关于VScode的重度依赖患者: 很遗憾,DeepSpeed进程目前还不支持在Vscode进行debug,因为缺少相应的VScode编译插件的支持。详见:github issue 5. 参考: HuggingFace Transformer DeepSpeed IntegrationDeepSpeed Tutorial 英文教程DeepSpeed Setup 参数说明 精彩内容...