2 --master_port 12345 finetune.py \ --base_model ../model/llama_7b \ --data_path ./fine-tuning/alpaca_gpt4_data_zh.json \ --output_dir './lora-alpaca' \ --batch_size 128 \ --micro_batch_size 4 \ --num_epochs 3 \ --learning_rate 1e-4 \ --cutoff_len 512 \ --val_...
2万条中文ChatGPT指令Alpaca数据集 喜爱 1 2万条中文ChatGPT指令Alpaca数据集:shibing624/alpaca-zh 木 木洋 3枚 CC0 自然语言处理 0 5 2023-11-23 详情 相关项目 评论(0) 创建项目 文件列表 alpaca_gpt4_data_zh.json alpaca_gpt4_data_zh.json (33.47M) 下载问题...
由于目标是对模型进行fine-tuning,所以得有一个fine-tuning的目标,由于原始模型对中文支持并不好,所以目标就有了,用中文语料库让模型更好的支持中文,这个社区也准备好了,直接下载中文的语料库就好了,在本地执行 wget https://github.com/LC1332/Chinese-alpaca-lora/blob/main/data/trans_chinese_alpaca_data.json?
4. 模型选择问题:由于目前GPT社区比较活跃,模型的产生和变化也是日新月异,由于时间仓促,目前只调研了alpaca-lora模型的本地化部署,后面针对实际落地的应用应该也会有更好的更低成本的落地方案,需要持续跟进社区的发展,选择合适的开源方案。
除了各类开源模型外,还有GPT-4、PaLM 2等众多「闭源」模型,甚至还开设了一个「准中文」排行榜。 最近,来自斯坦福的团队,也发布了一款LLM自动评测系统——AlpacaEval,以及对应的AlpacaEval Leaderboard。 在斯坦福的这个排行榜中,GPT-4依然以绝对领先的优势夺得第一,胜率超过了95%。
可以看到,Xwin-LM的70B模型完全霸榜,成为AlpacaEval指标上的性能评估的第一,并首次打败了GPT-4,对GPT-4的胜率达到了60.61%。 Xwin-LM其他规模的模型,如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也远超相同规模的其他模型。 Xwin-LM-7B-V0.1甚至超过了比它规模更大的Llama 2-13B-Chat。
DATA_LICENSE Dockerfile LICENSE README.md alpaca_data.json alpaca_data_cleaned_archive.json alpaca_data_gpt4.json docker-compose.yml export_hf_checkpoint.py export_state_dict_checkpoint.py finetune.py generate.py lengths.ipynb pyproject.toml requirements.txt Breadcrumbs alpaca-lora / alpaca_data_gp...
可以看到，Xwin-LM的70B模型完全霸榜，成为AlpacaEval指标上的性能评估的第一，并首次打败了GPT-4，对GPT-4的胜率达到了60.61%。Xwin-LM其他规模的模型，如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也远超相同规模的其他模型。Xwin-LM-7B-V0.1甚至超过了比它规模更大的Llama 2-13B-Chat。2. ...
近日来自商汤科技和华中科技大学开源中文语言模型 Luotuo,基于 ChatGPT API 翻译 Alpaca 微调指令数据,并使用 lora 进行微调得到。目前该项目已公开训练的语料和模型权重文件(两个型号),供开发者可使用自己各种大小的语料,训练自己的语言模型,并适用到对应的垂直领域。
同一周,在加州大学伯克利分校主导的LMSYS ORG排行榜中,Yi-34B-Chat也以1102的Elo评分,晋升最新开源SOTA开源模型之列,性能表现追平GPT-3.5。 多个Benchmark遥遥领先 在五花八门的大模型评测中,伯克利LMSYS ORG排行榜采用了一个最为接近用户体感的「聊天机器人竞技场」特殊测评模式,让众多大语言模型在评测平台随机进行...