--custom_train_dataset_path: 默认值为[]. 具体的含义参考README.md中的自定义数据集模块. --custom_val_dataset_path: 默认值为[]. 具体的含义参考README.md中的自定义数据集模块. --quantization_bit: 默认值为0. 具体的参数介绍可以在sft.sh命令行参数中查看. --bnb_4bit_comp_dtype: 默认值为'AUT...
Qwen1.5微调训练脚本中,我用到了--dataset new_data.jsonl 这个选项, 可以训练成功,但我看文档有提到--custom_train_dataset_path这个选项,这两个有什么区别呢,是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的,但是为什么又确实训练成功了呢(至少模型确实学习到了训练资料中的知识) # ...
--template_type "qwen" --system "You are a helpful assistant." \ --custom_train_dataset_path /root/autodl-tmp/dataset.jsonl \ --train_dataset_sample "50" \ --num_train_epochs "55" \ --save_steps "50" --lora_target_modules ALL \ --learning_rate "1e-5" --gradient_accumulation...
想要使用自己本地的数据集也很简单,指定--custom_train_dataset_path为自己的json、jsonl文件 CUDA_VISIBLE_DEVICES=2,3 \ PYTHONPATH='/home/ph/LLM2/swift/' \ NPROC_PER_NODE=2 \ python swift/cli/sft.py \ --model_type qwen1half-14b-chat-int4 \ --output_dir output \ --custom_train_datas...
--custom_train_dataset_path xxx.jsonl \ --custom_val_dataset_path yyy.jsonl \ 1. 2. 自定义数据集的格式可以参考: https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md ...
我使用的命令是 CUDA_VISIBLE_DEVICES=1 swift infer --ckpt_dir checkpoint-XXX --val_dataset_sample -1 --custom_val_dataset_path XXX 可以单独输入测试集进行推理。 不过有一个问题是val_dataset_sample这个参数设置为-1时,我在进行测试推理的条目数量从实际的1500条变为了3000条,每一条推理两次正好翻倍,不...
--train_dataset_sample: 对训练集的采样数, 默认是-1, 即使用完整的训练集进行训练. 该参数已废弃, 请使用--dataset {dataset_name}#{dataset_sample} --val_dataset_sample: 对验证集进行采样, 默认是None, 自动选取合适数量的数据集数量进行验证. 如果你指定为-1, 则使用完整的验证集进行验证. 该参数已...
--check_dataset_strategy: Default is 'none', see sft.sh command line arguments for parameter details. --custom_train_dataset_path: Default is []. See Customization for details. --custom_val_dataset_path: Default is []. See Customization for details. --quantization_bit: Default is 0. See...
export MKL_THREADING_LAYER=GNU \ CUDA_VISIBLE_DEVICES=0,1,2,3 \ NPROC_PER_NODE=4 \ swift sft \ --model_type qwen2-7b-instruct \ --model_id_or_path /root/.cache/modelscope/hub/qwen/Qwen2-7B-Instruct \ --sft_type lora \ --dtype AUTO \ --dataset /path/to/your/custom/dataset...
--custom_train_dataset_path: 默认值为[]. 该参数已废弃, 请使用--dataset {dataset_path}. --custom_val_dataset_path: 默认值为[]. 该参数已废弃, 该参数已废弃. 请使用--val_dataset {dataset_path}. --self_cognition_sample: 自我认知数据集的采样数. 默认为0. 你该值设置为>0时, 需要同时指定...