面壁智能MiniCPM 2B大模型,仅凭20亿参数量就做到了与2018年BERT相当的水平,这真的让人震惊!它的性能优化和成本控制做得太出色了,让人不得不佩服。而且,这个模型还是业界首个在端侧部署的多模态大模型,引领了新的技术潮流。 更厉害的是,MiniCPM 2B还能越级挑战更大规模的模型。(面壁智能联合创始人、CEO)李大海说...
与此同时，继2月发布开源模型MiniCPM之后，面壁智能还在11日下午推出全新、领先的MiniCPM 2系列端侧模型，包括四款——MiniCPM-V 2.0多模态模型，20亿参数的MiniCPM-2B-128k长文本模型，MiniCPM-MoE-8x2B MoE（混合专家）模型，以及12亿参数规模的MiniCPM-1.2B模型，而MiniCPM-1.2B比上代推理速度提升38%，成...
参考论文《CPM-2: Large-scale Cost-effective Pre-trained Language Models》 针对预训练语言模型(PLM)问题限制了它们在现实世界场景中的使⽤,作者提出了⼀套使⽤PLM来处理预训练、微调和推理的效率问题的具有成本效益的技术,该技术主要分成3个方面: (1) 引⼊知识继承,通过利⽤现有的PLM⽽不是从头开始...
因为MiniCPM 采用 MUP 结构,在矩阵乘法中存在一定的放缩计算,与Llama类模型结构有细微差别。 我们基于版本为 0.2.2 的 vLLM 实现了 MiniCPM 的推理,代码位于仓库inference文件夹下,未来将会支持更新的vLLM 版本。 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 # 安装支持 MiniCPM 的 vLLM 版本 ...
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。 经过SFT 后,MiniCPM 在公开综合性评测集上,MiniCPM 与 Mistral-7B相近(中文、数学、代码能力更优),整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
钛媒体AGI获悉,4月11日下午,清华系 AI 大模型公司“面壁智能”宣布,公司日前完成新一轮数亿元融资,由春华创投、华为哈勃领投,北京市人工智能产业投资基金等跟投,知乎作为战略股东持续跟投支持。由光源资本担任独家财务顾问。 本轮融资完成后,面壁智能将进一步推进优秀人才引入,加固大模型发展的底层算力与数据基础,持续...
CPM(Chinese Pretrained Model) 系列大模型是我们团队自研模型,其中包括国内首个中文大模型 CPM-1、高效易用大模型 CPM-2、可控持续大模型 CPM-3 等。最新的百亿大模型训练直播项目CPM-Live的计划书在2022年5月26日发布,第一期模型 CPM-Ant的训练在2022年5月29日正式启动,并于2022年9月16日圆满发布报告。
据面壁智能联合创始人、CEO李大海介绍,面壁MiniCPM的参数规模为2B,采用1T精选数据,性能超越法国当红的大模型Mistral-7B,越级比肩LLama 2-13B。其中,Mistral-7B背后的公司Mistral AI,被称作“欧洲版的OpenAI”。 面壁MiniCPM核心实现的是用更小的尺寸、更低的成本,实现更强的性能。“小尺寸是模型技术的极限竞技场。”...
华为开始大规模投资 AI 大模型了。 钛媒体AGI获悉,4月11日下午,清华系 AI 大模型公司“面壁智能”宣布,公司日前完成新一轮数亿元融资,由春华创投、华为哈勃领投,北京市人工智能产业投资基金等跟投,知乎作为战略股东持续跟投支持。由光源资本担任独家财务顾问。
华为哈勃领投面壁智能新一轮数亿元融资,全新MiniCPM2模型成本降60%|钛媒体AGI 00:0010:55 面壁智能联合创始人、CEO李大海 华为开始大规模投资 AI 大模型了。 钛媒体AGI获悉,4月11日下午,清华系 AI 大模型公司“面壁智能”宣布,公司日前完成新一轮数亿元融资,由春华创投、华为哈勃领投,北京市人工智能产业投资基金...