Luotuo-Chinese-LLM: 地址:github.com/LC1332/Luotu 简介:囊括了一系列中文大语言模型开源项目,包含了一系列基于已有开源模型(ChatGLM, MOSS, LLaMA)进行二次微调的语言模型,指令微调数据集等。 Linly: 地址:github.com/CVI-SZU/Linl 简介:提供中文对话模型Linly-ChatFlow 、中文基础模型 Linly-Chinese-LLaMA 及其...
尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM的二次微调或应用的案例。 截止到当前,已统计到77个相关项目,具体数量分布如下: 项目地址:https://github.com/HqWu-HITCS/Awesome-Chinese-LLM 地址:https://github.com/THUDM/ChatGLM-6B 简介:中文领域效果最好的...
【[17.6k星]Awesome-Chinese-LLM:中文大语言模型(LLM)的开源资源,包括模型、应用、数据集和教程等,特别强调了可私有化部署和训练成本较低的模型】'整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主,包括底座模型,垂直领域微调及应用,数据集与教程等。' GitHub: github.com/HqWu-HIT...
以ChatGPT为代表的大语言模型(LLM)展现出成为通用人工智能(AGI)的潜力,并受到~~NLP社区~~社会各界的广泛关注。然而,目前整理LLM的项目大多以英文语料和英文LLM为主,这为构建高质量的中文对话大模型形成阻碍。 …
Awesome-Chinese-LLM 是整理开源的中文大语言模型,主要包括规模较小、可私有化部署、训练成本较低的模型,涵盖底座模型、垂直领域微调及应用、数据集与教程等。 包含各种规模的中文大语言模型 可私有化部署 低训练成本 收集中文LLM相关的开源模型、应用、数据集及教程 ...
Luotuo-Chinese-LLM: 地址:https://github.com/LC1332/Luotuo-Chinese-LLM 简介:囊括了一系列中文大语言模型开源项目,包含了一系列基于已有开源模型(ChatGLM, MOSS, LLaMA)进行二次微调的语言模型,指令微调数据集等。 Linly: 地址:https://github.com/CVI-SZU/Linly 简介:提供中文对话模型 Linly-ChatFlow ...
中文大模型能力评测榜单:覆盖百度文心一言、chatgpt、阿里通义千问、讯飞星火、belle / chatglm6b 等开源大模型,多维度能力评测。不仅提供能力评分排行榜,也提供所有模型的原始输出结果! - MoMo-xuexue/chinese-llm-benchmark
本研究介绍了CT-LLM(Chinese Tiny Large Language Model),这是一个2B参数的大型语言模型(LLM),它标志着在开发LLMs时优先考虑中文的重大转变。CT-LLM的独特之处在于,它从头开始,主要通过包含1200亿个token的广泛语料库进行预训练,其中包括800亿个中文token、300亿个英文token和100亿个代码token。这种战略性组成通过比...
https://github.com/Chinese-Tiny-LLM/Chinese-Tiny-LLM(目前仅有数据处理脚本和数据、模型权重) 摘要 CT-LLM 是一个 2B 的 LLM,在 1200B 的 token 上预训练,包括 800B 的中文 token、300B 的英文 Token、100B 的代码 token,以提高模型理解和处理中文的能力。CT-LLM 不仅在中文基准 CHC-Bench 上表现出色...
引入 LoRA 进行微调，该方法在预训练模型层旁引入可训练的 A、B 矩阵，通过调整秩 r 控制训练参数，大幅减少了可训练参数的数量。作者在中文 LLaMA 和 Alpaca 模型的实验中应用 LoRA，包括预训练和微调阶段，特别是在注意力模块的权重中引入 LoRA。实验设置和微调：预训练阶段使用原始 LLaMA 权重初始化...