Firefly(流萤)是一个开源的中文大语言模型项目,支持QLoRA和全量参数微调Baichuan2、CodeLLaMA、LLaMA2、LLaMA、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom、XVERSE等开源模型。 正如我们的项目名称一样,希望本项目能够像流萤一般发出淡淡微光,为中文大语言模型社区尽绵薄之力,促进中文大语言模型社区的发展。
谷歌Bard超越GPT-4 | 最近LMSYS更新大语言模型/聊天机器人排行榜(LMSYS Chatbot Arena Leaderboard),由Gemini Pro支持谷歌Bard超越了GPT-4,目前排名第二,仅次于GPT-4-Turbo。开源模型排名最高是Mixtral -8x7b-Instruct,中文开源模型排行最高的是李开复的Yi-34B,7B模型中排行最高的是OpenHermes-2.5-Mistral-7b。
Firefly-LLaMA2-Chinese:中文Llama2模型,对Llama2进行中文词表扩充、增量预训练和指令微调。 LongQLoRA:大模型长度扩展项目,可在单卡V100上将LLaMA-13B的长度扩展至8192,且性能逼近MPT-8K。 LLMPruner:对Bloom进行词表裁剪,减少模型参数量。 技术博客 技术博客 ...
Firefly(流萤)是一个开源的中文大语言模型项目,支持QLoRA和全量参数微调Baichuan2、CodeLLaMA、LLaMA2、LLaMA、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom、XVERSE等开源模型。 正如我们的项目名称一样,希望本项目能够像流萤一般发出淡淡微光,为中文大语言模型社区尽绵薄之力,促进中文大语言模型社区的发展。
Firefly-LLaMA2-Chinese:中文Llama2模型,对Llama2进行中文词表扩充、增量预训练和指令微调。 LongQLoRA:大模型长度扩展项目,可在单卡V100上将LLaMA-13B的长度扩展至8192,且性能逼近MPT-8K。 LLMPruner:对Bloom进行词表裁剪,减少模型参数量。 技术博客 技术博客 Unsloth x Qwen2,提速47.32%,节省39.13%显存,最少仅...
Firefly-LLaMA2-Chinese:中文Llama2模型,对Llama2进行中文词表扩充、增量预训练和指令微调。 LongQLoRA:大模型长度扩展项目,可在单卡V100上将LLaMA-13B的长度扩展至8192,且性能逼近MPT-8K。 LLMPruner:对Bloom进行词表裁剪,减少模型参数量。 技术博客 技术博客 Unsloth x Qwen2,提速47.32%,节省39.13%显存,最少仅...
Firefly-LLaMA2-Chinese:中文Llama2模型,对Llama2进行中文词表扩充、增量预训练和指令微调。 LongQLoRA:大模型长度扩展项目,可在单卡V100上将LLaMA-13B的长度扩展至8192,且性能逼近MPT-8K。 LLMPruner:对Bloom进行词表裁剪,减少模型参数量。 技术博客 技术博客 Unsloth x Qwen2,提速47.32%,节省39.13%显存,最少仅...
Firefly-LLaMA2-Chinese:中文Llama2模型,对Llama2进行中文词表扩充、增量预训练和指令微调。 LongQLoRA:大模型长度扩展项目,可在单卡V100上将LLaMA-13B的长度扩展至8192,且性能逼近MPT-8K。 LLMPruner:对Bloom进行词表裁剪,减少模型参数量。 技术博客 技术博客 Unsloth x Qwen2,提速47.32%,节省39.13%显存,最少仅...
Firefly(流萤)是一个开源的中文大语言模型项目,支持QLoRA和全量参数微调Baichuan2、CodeLLaMA、LLaMA2、LLaMA、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom、XVERSE等开源模型。 正如我们的项目名称一样,希望本项目能够像流萤一般发出淡淡微光,为中文大语言模型社区尽绵薄之力,促进中文大语言模型社区的发展。