自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,掀起了新一轮研究和应用浪潮,出现了许多包括LLaMA、ChatGLM、Baichuan、Qwen等在内的通用模型。 随后,来自不同领域的人们基于通用模型通过持续预训练/指令微调将其应用于垂直领域。 本项目旨在收集和梳理垂直领域的开源模型、数据集及评测基准。 欢迎...
Awesome-LLM: a curated list of Large Language Model.🔥 大型语言模型(LLM)已经席卷了 全球,不再局限于 NLP 或 AI 社区。这里整理了一些关于大型语言模型,特别是与 ChatGPT 相关的研究论文,涵盖了 LLM 训练框架、部署工具、课程与教程,以及所有公开的 LLM 检查点
地址:https://github.com/OpenLMLab/MOSS 简介:支持中英双语和多种插件的开源对话语言模型,MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 Luotuo-Chinese-LLM: 地址:https://github.com/LC1332/Luotuo-Chinese...
地址:github.com/Clouditera/s 简介:开项目开源了网络安全大模型,该模型基于Baichuan-13B采用Lora做预训练和SFT训练,此外该项目还开源了相关预训练和指令微调数据集等资源。 LLM教程 LLMsPracticalGuide 地址:github.com/Mooler0410/L 简介:该项目提供了关于LLM的一系列指南与资源精选列表,包括LLM发展历程、原理、示...
○ 地址:https://github.com/LC1332/Luotuo-Chinese-LLM ○ 简介:囊括了一系列中文大语言模型开源项目,包含了一系列基于已有开源模型(ChatGLM, MOSS, LLaMA)进行二次微调的语言模型,指令微调数据集等。 ● Linly: ○ 地址:https://github.com/CVI-SZU/Linly ...
Large Language Model (LLM) 即大规模语言模型,是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,从而可以生成人类可读的文本。 所谓"语言模型",就是只用来处理语言文字(或者符号体系)的 AI 模型,发现其中的规律,可以根据提示 (prompt),自动生成符合这些规律的内容。
Github Self-Knowledge Distillation Algorithms Supervised Fine-Tuning Due to the large number of works applying supervised fine-tuning, we only list the most representative ones here. Divergence and Similarity Reinforcement Learning Rank Optimization ...
Awesome Chinese LLM 地址:github.com/HqWu-HITCS/Awesome-Chinese-LLM “自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言...
近日,一个名为Awesome-LLM-Strawberry的GitHub仓库引起了广泛关注。该仓库由英伟达工程师hijkzzz创建,仅在上线三天内便狂揽1500颗星,一举登上GitHub趋势榜。这一库专注于收集与o1相关的推理技术论文、博客及项目等资源,成为研究和讨论的重要平台。这种突发的热度不仅显示了开发者对新技术的追逐,也透露出市场对AI推理技术...
Awesome-Chinese-LLM 整理了开源的中文大模型相关资源,包括开源底座模型、垂直领域微调模型应用、数据集及教程等。目前,收录的资源已超过100个,涵盖了从小型到大型的多种模型,如ChatGLM、LLaMA、Baichuan、Qwen等。以规模较小、可私有化部署、训练成本较低的模型为主。,