OpenBMB大模型系统生态支持:OpenBMB 大模型系统在高性能预训练、适配、压缩、部署、工具开发了一系列工具,CPM-Bee 基座模型将配套所有的工具脚本,高效支持开发者进行进阶使用。 强大的对话和工具使用能力:结合OpenBMB 在指令微调和工具学习的探索,我们在 CPM-Bee 基座模型的基础上进行微调,训练出了具有强大对话和工具...
对于每个数据集,CPMBee的底层文件系统将会自动导入数据集,读出数据,然后调用任务转换脚本进行改造。 转换脚本包含三个输入参数,data为读出样本,num_sample为读出的样本数量(通常为1条,in-context learning设定下会有多条),r为随机生成器。 案例:针对wiki和flan写转换脚本: ...
最后,丁宁为我们预告了 OpenBMB 现在已经全面开源的中文基座大模型 CPMBee,以及其优秀的中英文能力。分享后,丁宁对有关插件对准确性的提升、CPM-Bee 模型应用场景、训练微调语料等方面的问题做出了回答。 ▶︎ 秦禹嘉: 基础模型工具学习 最后,清华大学计算机系博士生、BMTools 和 WebCPM 的主要作者秦禹嘉分享...
1月 4 日,中国计算机学会(CCF)公布了2022年“CCF优秀博士学位论文激励计划”入选名单,OpenBMB 核心成员韩旭的博士论文《开放域文本的结构化知识获取》入选。 韩旭介绍 韩旭,OpenBMB 主要发起人之一,是 OpenBMB 开源平台中 BMTrain、BMInf 等模块的主要开发者,也是 CPM-Ant、CPM-Bee 两期大模型的主要完成人之一。
百亿参数的中英文双语基座大模型. Contribute to OpenBMB/CPM-Bee development by creating an account on GitHub.
下午4 点后,各项目方依次来到展示区讲解演示项目 demo,各家各派的技术流争奇斗艳。我们 OpenBMB 派出骨干算法工程师,对我们的项目体系架构和核心工具包进行了完整介绍,并用生动的例子展示了我们在训的CPM-Bee 大模型的最新能力(具体内容见视频) 看到这儿,感觉错过了宝贵线下交流机会?
所用的脚本: #! /bin/bash export CUDA_VISIBLE_DEVICES=4,5,6,7 GPUS_PER_NODE=4 NNODES=1 MASTER_ADDR="localhost" MASTER_PORT=12346 OPTS="" OPTS+=" --use-delta" OPTS+=" --model-config /home/zyz/.cache/modelscope/hub/OpenBMB/cpm-bee-10b/config/cpm...
CPM-Live Live Training for Open-source Big Models Website•Plan•Discussion•简体中文 What's New Milestones Training Plan Considering the scale of data and computing resources, CPM-Live will start with a 10B model training. During training we will do: ...
| CPM-Bee-2B | 19 | 24 | 2048 | 5120 | [链接](https://openbmb.oss-cn-hongkong.aliyuncs.com/model_center/cpm-bee-2b/cpm-bee-2b.zip) | [链接](https://huggingface.co/openbmb/cpm-bee-2b) | | CPM-Bee-1B | 19 | 24 | 1280 | 1024 | [链接](https://openbmb.oss-cn-hongkon...
VisCPM基于百亿参数量语言大模型CPM-Bee(10B)训练,融合视觉编码器Muffin和视觉解码器Diffusion-UNet以支持视觉信号的输入和输出。得益于CPM-Bee基座优秀的双语能力,VisCPM可以仅通过英文多模态数据预训练,泛化实现优秀的中文多模态能力。👐 开源使用:VisCPM可以自由被用于个人和研究用途。我们希望通过开源VisCPM模型系列...