介绍了大模型的基本概念,包括其基于Transformer的架构和大规模参数特性,以及如何通过监督学习进行预训练和微调。详细讨论了LoRA和P-Tuning V2两种微调方法,并通过实际案例展示了微调在文本分类任务中的应用。此外,还探讨了知识库构建和多轮对话系统的设计,以及如何将这些技术应用于实际问题,例如个性化AI模型的创建。内容...
欢迎加入Firefly大模型技术交流群,关注我们的公众号,点击加群按钮即可。 News 🔥 支持微调XVERSE-13B。 🔥 开源Firefly项目多轮对话微调的firefly-chatglm2-6b。 🔥 支持微调通义千问Qwen-7B,该模型在各个中英文榜单,表现非常优异。 🔥 支持多轮对话微调ChatGLM2,比官方的训练方法更加充分高效(近期会进行源码...
firefly-baichuan-13b、firefly-chatglm2-6b与其对应的官方的chat模型表现比较接近,差距在1分左右。 即使使用同一份数据微调的模型,各模型的差距也比较大,例如firefly-internlm-7b与firefly-baichuan-7b相差了6.85分。 出现了很多不太符合直觉的现象。qwen-7b-chat和internlm-7b-chat等7b模型碾压大多数13b模型,openbud...
firefly-baichuan-13b、firefly-chatglm2-6b与其对应的官方的chat模型表现比较接近,差距在1分左右。 即使使用同一份数据微调的模型,各模型的差距也比较大,例如firefly-internlm-7b与firefly-baichuan-7b相差了6.85分。 出现了很多不太符合直觉的现象。qwen-7b-chat和internlm-7b-chat等7b模型碾压大多数13b模型,openbud...
firefly-baichuan-13b、firefly-chatglm2-6b与其对应的官方的chat模型表现比较接近,差距在1分左右。 即使使用同一份数据微调的模型,各模型的差距也比较大,例如firefly-internlm-7b与firefly-baichuan-7b相差了6.85分。 出现了很多不太符合直觉的现象。qwen-7b-chat和internlm-7b-chat等7b模型碾压大多数13b模型,openbud...
firefly-baichuan-13b、firefly-chatglm2-6b与其对应的官方的chat模型表现比较接近,差距在1分左右。 即使使用同一份数据微调的模型,各模型的差距也比较大,例如firefly-internlm-7b与firefly-baichuan-7b相差了6.85分。 出现了很多不太符合直觉的现象。qwen-7b-chat和internlm-7b-chat等7b模型碾压大多数13b模型,openbud...