小参数大模型多被认为适合处理简单的日常事务。可Llama 3 8B及其衍生模型表现出了更深层的反思和纠错机制，让开源社区的用户们意识到，复杂认知不再是大参数大模型的专利。陈天楚据此预判，在某些预算有限的垂直行业领域中应用Llama 3 8B模型，或将存在更多的可能性。有限开源的“开源之王”Llama 3模型强大且开源的...
法国著名大模型平台Mistral.AI开源了最新小参数模型——Ministraux。 Ministraux一共有Ministral 3B和8B两个版本,是专为手机、平板、笔记本等移动设备设计,在文本生成、推理、函数调用和效率方面非常强悍,大幅度超过了Meta的Llama-3.2和谷歌的Gemma-2,重新定义100亿参数以下小模型的性能。 所以,Mistral.AI在发布时也...
作为一款小参数模型，MiniCPM 能部署在手机等终端设备上，主要被定位为端侧模型。目前，MiniCPM 已跑通了国际主流手机品牌和终端 CPU 芯片。为什么有了云端模型，依然要端侧模型？从用户的角度来说，假设遇到极端的断网等情况（面壁团队现场举了户外探险的例子），用户依然可以通过端侧模型获得服务。这实际上拓宽了用...
看到这项研究后，网友纷纷表示「我们应该向 Meta 致敬，很高兴看到这个领域的活跃玩家。该机构通过使用低于 10 亿参数的模型，并且 350M 8 位模型的能源消耗仅为 0.035 J/token ，要是部署在 iPhone 上的话，可以支持用户一整天的会话使用。」改进十亿以下参数规模的 LLM 设计 研究者介绍了从十亿以下参数规模的...
1.只需半天,训练一个 15 亿参数小模型 德州大学奥斯汀分校团队研究了一种基于现有大型基础语言模型开发小型基础语言模型的简单方法的有效性:首先从大型语言模型中继承几个 transformer 块,然后在大型模型的原始预训练数据的极小子集(0.1%)上训练这个较小的模型。
4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。 据悉,Phi-3-mini是微软Phi家族的第4代,有预训练和指令微调多种模型,参数只有38亿训练数据却高达3.3T tokens,比很多数百亿参数的模型训练数据都要多,这也是其性能超强的主要原因之一。
Llama 3 8B模型是Llama 3的小参数版本。陈天楚称,国内外目前开源的大多数8B体量模型,一般使用2000亿个(0.2T)Token的数据集就能满足训练需要,而Meta为训练Llama 3模型扩充的语料出人意料。 除此之外,Llama 3模型使用的算力卡更令人惊叹,它是在含24000个英伟达GPU的算力集群上训练的。超大规模的算力集群会带来网络...
1.微软于4月23日开源了小参数大语言模型Phi-3-mini,具有预训练和指令微调多种模型。 2.Phi-3-mini参数仅为38亿,训练数据高达3.3T tokens,性能超强。 3.该模型可在iPhone 14等手机中部署,每秒生成12个tokens数据。 4.此外,微软在预训练Phi-3-mini时使用了合成数据,以帮助模型更好地理解语言架构等。
虽然参数小，但是 Phi-3-mini 的性能可与 Mixtral 8x7B 和 GPT-3.5 等更大型的模型相媲美。Phi-3-mini有两种上下文长度变体——4K和128K tokens，是同类中首个支持高达128K tokens 上下文窗口的模型，且对质量影响很小。通过一系列公开基准测试的数据对比可见，Phi-3 Mini(3.8亿参数)在自然语言理解、推理、...
上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。今天，微软公布了 Phi-2 模型的更多细节以及全新的提示技术 promptbase。这个仅 27 亿参数的模型在大多数常识推理、语言理解、数学和编码任务上超越了 Llama2 7B、Llama2 13B、...