Data-Juicer生成了高质量的数据配方,提升了LLM的性能。实验结果表明,使用Data-Juicer数据配方的LLM在16个HELM核心任务上平均得分提高了7.45%。Data-Juicer的数据食谱在GPT-4评估中获得了更高的胜利率。系统性能实验显示,Data-Juicer的端到端处理时间比基准降低了50.6%,内存使用减少了55.1%。结论 Data...
请问ModelScope在哪里可以找到data-juicer的使用视频?
Data-Juicer 是一个集成了数据分析和可视化工具的一站式大模型数据处理系统,参赛者使用 data-juicer 来辅助数据分析、筛选和生成,欢迎扩展功能并参与开源项目贡献。 training提供了模型训练和推理的脚本。 train_lora_256.sh或train_lora_512.sh脚本用于模型训练,其中有部分参数允许参赛者修改。 infer_lora_256.sh或...