周二，微软正式推出Phi-3系列模型。它是微软前两个小型语言模型 2023 年 6 月发布的 Phi-1和 12 月发布的 Phi-2 的后续产品。Phi-3系列模型第一款模型名为 Phi-3-mini，只有 38 亿个参数，这使得它非常适合在智能手机和笔记本电脑中使用的消费级 GPU 或人工智能加速硬件上运行。Phi-3-mini 可在配备 A16 ...
刚刚提出的 phi-3-mini 是一个在 3.3 万亿个 token 上训练的 38 亿参数语言模型。实验测试表明，phi-3-mini 的整体性能可与 Mixtral 8x7B 和 GPT-3.5 等模型相媲美，例如 phi -3-mini 在 MMLU 上达到了 69%，在 MT-bench 上达到了 8.38。微软之前对 phi 系列模型的研究表明，高质量的「小数据」...
然而,微软的研究人员却另辟蹊径,他们研发出了一种小巧的语言模型phi-3-mini,它仅拥有3.8亿参数,但却展现出了与大模型相媲美的性能。 技术参数 技术报告地址:arxiv.org/abs/2404.1421 简介 phi-3-mini是一种3.8亿参数的语言模型,经过3.3万亿tokens的训练,其性能可以与Mixtral 8x7B和GPT-3.5相媲美。这一成绩...
微软此前关于Phi系列模型的研究工作,已经证实了「基于LLM的web数据过滤」和「LLM合成数据」的结合,使得2.7B参数量的Phi-2可以匹敌25倍参数量大模型的性能。 最近,微软再次升级了Phi-3系列模型,最小尺寸的phi-3-mini(3.8B参数量)在更大、更干净的数据集(包含3.3T个tokens)上进行训练,在各大公开的学术基准和内部...
产品最大的亮点是官方号称phi-3-mini 3.8B的性能与Mixtral 8x7B和GPT-3.5等模型相当，而且可以在...
点蓝色字关注 “机器学习算法工程师 ” 设为 星标 ,干货直达! 微软在开发者大会上发布Phi-3新成员:Phi-3-vision,Phi-3-vi
智东西4月24日报道，4月23日，微软在官网开源了小语言模型（SLM）——Phi-3-mini。这是微软Phi-3系列模型推出的首个模型。Phi-3-mini作为微软Phi系列的第四代产品，以其38亿参数和3.3T tokens的庞大训练数据量，在语言、推理、编码和数学基准测试中超越了众多数百亿参数规模的模型。此外，Phi-3-mini有4k和...
相较于GPT-4等大型语言模型（large language model，LLM），微软新发布的Phi-3-mini（38亿参数）以更小的数据集进行训练，具4K token和128K token两种上下文长度，目前已在Microsoft Azure、Hugging Face、Ollama上对外提供。微软还计划未来几周内推出Phi-3-small（70亿参数）和Phi-3-medium（140亿参数）两种版本...
Llama-3 刚发布没多久,竞争对手就来了,而且是可以在手机上运行的小体量模型。 本周二,微软发布了自研小尺寸模型 Phi-3。 新模型有三个版本,其中 Phi-3 mini 是一个拥有 38 亿参数的语言模型,经过 3.3 万亿 token 的训练,其整体性能在学术基准和内部测试上成绩优异。
智东西4月24日报道,4月23日,微软在官网开源了小语言模型(SLM)——Phi-3-mini。这是微软Phi-3系列模型推出的首个模型。 Phi-3-mini作为微软Phi系列的第四代产品,以其38亿参数和3.3T tokens的庞大训练数据量,在语言、推理、编码和数学基准测试中超越了众多数百亿参数规模的模型。