启元九格大模型由启元实验室牵头,联合清华大学、哈尔滨工业大学、中国科学院计算技术研究所、北京大学、南开大学等顶尖科研单位共同研发。该模型具备高效训练与推理、高效适配与部署的技术特点,支持多种自然语言处理(NLP)和多模态任务,包括文本问答、文本分类、机器翻译、文本摘要、图文理解等。
我们提供可以运行模型训练和推理的docker,便于在新环境下快速使用九格大模型。您也可以使用Conda配置运行环境。Conda配置方式请见下一节。 docker 路径 镜像加载 rootless 启动 允许用户在不影响主机系统的情况下运行应用程序和服务,并且可以轻松地共享和分发环境 ...
16 + 1 目前启元开源了80B的百亿SFT模型: 17 + v2版本主要是进行精度指标的优化和对话能力的提升 18 + [8b_v1](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/checkpoints-epoch-1.tar.gz) 19 + [8b_v2](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/sft_8b_v2.zip)...
113 + 装vllm(模型推理) 113114 我们提供基于CUDA12.2环境下python3.8、python3.10版本的vllm安装包,相关依赖均已封装,可直接安装后执行推理: 114115 [vllm-0.5.0.dev0+cu122-cp38-cp38-linux_x86_64.whl](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/vllm-0.5.0.dev0%2Bcu122-cp38-cp38...
[vllm-0.5.0.dev0+cu122-cp38-cp38-linux_x86_64.whl](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud.com/vllm-0.5.0.dev0%2Bcu122-cp38-cp38-linux_x86_64.whl) 115115 [vllm-0.5.0.dev0+cu122-cp310-cp310-linux_x86_64.whl](https://qy-obs-6d58.obs.cn-north-4.myhuaweicloud...
102 + ### 百亿大模型 103 + - 预训练、全参数微调:2 * 512G以上内存,16 * 80G以上显存 104 + - 高效微调(LoRA)与推理: 128G 以上内存,2 * 80G以上显存 105 + 106 + ## 极限配置 107 + 最极限的资源配置,仅供参考,在大模型训练中其实并不推荐,因为其效果一般不佳,训练时长也比较久 98108 |...
72 + - 将lora delta model参数和original model merge在一起 作为新的模型,但是模型的参数数量并没有增多 73 + 74 + python merge_lora_delta.py --base_path cpm9g-8b-sft.pt --delta_path cpm9g-lora.pt --merge_path cpm9g-8b-sft_with_lora.pt 75 + 76 + 77 + # lora 推理 78 + ...
九格多模态大模型使用文档 目录 九格多模态大模型使用文档 目录 环境配置 开源模型 数据处理流程 模型微调 模型推理 环境配置 conda 环境安装 1. 使用python 3.10 创建conda环境 conda create -n fm-9g python=3.10 -y 2. 激活环境 conda activate fm-9g 3. 安装requirements.txt # 使用 pip 安装 requirements...
启元九格大模型由启元实验室牵头,联合清华大学、哈尔滨工业大学、中国科学院计算技术研究所、北京大学、南开大学等优势单位共同研制。具有高效训练与推理和高效适配与部署的技术特点,具备文本问答、文本分类、机器翻译、文本摘要等自然语言处理能力。 44 55 ## 更新信息 6 - - 本次启元九格开源13B多模态基础大模型,...