该数据集为GPT-4生成的中文数据集,用于LLM的指令精调和强化学习等。 数据集加载方式 from modelscope.msdatasets import MsDataset ds = MsDataset.load("alpaca-gpt4-data-zh", namespace="AI-ModelScope", split="train") print(next(iter(ds)))
Reminder I have read the README and searched the existing issues. Reproduction python src/cli_demo.py --model_name_or_path /hy-tmp/model/gemma-7b --template gemma --finetuning_type lora --adapter_name_or_path /home/lzl/python-workspace/l...
团队通过与收集的2.5K个人工标注(每个指令平均包含4个人工标注)进行比较,评测了AlpacaEval数据集上的不同自动标注程序。 下面就是斯坦福的评测器(alpaca_eval_gpt4)、之前的自动评测器(alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4)、人类(humans)以及不同基准模型(gpt4、claude、text_davinci_003、guanaco...
2万条中文ChatGPT指令Alpaca数据集 喜爱 1 2万条中文ChatGPT指令Alpaca数据集:shibing624/alpaca-zh 木 木洋 3枚 CC0 自然语言处理 0 5 2023-11-23 详情 相关项目 评论(0) 创建项目 文件列表 alpaca_gpt4_data_zh.json alpaca_gpt4_data_zh.json (33.47M) 下载问题...
2 --master_port 12345 finetune.py \ --base_model ../model/llama_7b \ --data_path ./fine-tuning/alpaca_gpt4_data_zh.json \ --output_dir './lora-alpaca' \ --batch_size 128 \ --micro_batch_size 4 \ --num_epochs 3 \ --learning_rate 1e-4 \ --cutoff_len 512 \ --val_...
可以看到,Xwin-LM的70B模型完全霸榜,成为AlpacaEval指标上的性能评估的第一,并首次打败了GPT-4,对GPT-4的胜率达到了60.61%。 Xwin-LM其他规模的模型,如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也远超相同规模的其他模型。 Xwin-LM-7B-V0.1甚至超过了比它规模更大的Llama 2-13B-Chat。
也是第一个在AlpacaEval上超越GPT-4的模型。此外，它对上GPT-4的胜率为60.61。Xwin-LM-13B-V0.1：在AlpacaEval上取得了91.76%的胜率，在所有13B模型中排名第一。Xwin-LM-7B-V0.1：在AlpacaEval上取得了87.82%的胜率，在所有7B机型中排名第一。Xwin-LM：700亿参数打赢GPT-4 Xwin-LM是以Llama 2为...
近日来自商汤科技和华中科技大学开源中文语言模型 Luotuo,基于 ChatGPT API 翻译 Alpaca 微调指令数据,并使用 lora 进行微调得到。目前该项目已公开训练的语料和模型权重文件(两个型号),供开发者可使用自己各种大小的语料,训练自己的语言模型,并适用到对应的垂直领域。
python finetune.py \--base_model'decapoda-research/llama-7b-hf'\--data_path'trans_chinese_alpaca_data.json'\--output_dir'./lora-alpaca-zh' 如果是多个GPU,则执行: 代码语言:javascript 代码运行次数:0 运行 AI代码解释 WORLD_SIZE=2CUDA_VISIBLE_DEVICES=0,1torchrun \--nproc_per_node=2\--mas...
可以看到,Xwin-LM的70B模型完全霸榜,成为AlpacaEval指标上的性能评估的第一,并首次打败了GPT-4,对GPT-4的胜率达到了60.61%。 Xwin-LM其他规模的模型,如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也远超相同规模的其他模型。 Xwin-LM-7B-V0.1甚至超过了比它规模更大的Llama 2-13B-Chat。