--mm_projector_type mlp2x_gelu \ --mm_vision_select_layer -2 \ --mm_use_im_start_end False \ --mm_use_im_patch_token False \ --image_aspect_ratio pad \ --group_by_modality_length True \ --bf16 True \ --output_dir ./checkpoints/llava-v1.5-7b-lora \ --num_train_epochs ...
CUDA_VISIBLE_DEVICES=7 python chat.py --path output/step3-models/1.3b/actor 效果嘛符合预期 是否支持中文? 理论是没问题的,关键就是怎么找高质量的数据了 他这里提供了Step1的训练步骤和数据,其他的没数据没提供 deepspeed程序vscode怎么debug? 查找和测试了可行的方案,仅供参考: 听故事的人:deepspeed 怎么deb...
line 218, in advance batch_output = self.automatic_optimization.run(trainer.optimizers[0], kw...
[rank0]: File "/home/b3schnei/.vscode-server/extensions/ms-python.debugpy-2024.10.0-linux-x64/bundled/libs/debugpy/_vendored/pydevd/pydevd.py", line 3489, in [rank0]: main() [rank0]: File "/home/b3schnei/.vscode-server/extensions/ms-python.debugpy-2024.10.0-linux-x64/bundled...
deepspeed使用vscode进行远程调试debug环境配置与解读_vscode 可以调试deepspeed吗-CSDN博客blog.csdn.net...
"/home/notebook/code/personal/aigc/deepspeed/vscode_debug_transformers-main/config/default_offlload_zero2.json", "--model_name_or_path", "my_model", "--output_dir", "hhh" ], "env": { // "PYTHONPATH": "/opt/conda/envs/transformers2/lib/python3.9/site-packages", ...
deepspeed程序vscode怎么debug？查找和测试了可行的方案，仅供参考：听故事的人：deepspeed 怎么debug?测试...
可以通过deepspeed.launcher.runner debug，不过breakpoint到forward里面会卡住。
2.开zero3 默认存optimizer state。没找到只保存模型参数的方法(其实是实验室太穷了，服务器硬盘太小存...
用peft 训练lora的时候，开启deepspeed zero2 offload保存的模型，无法resume。。 。不用deepspeed可以，用...