微软今年 9 月更新发布了 Phi-1.5 版本，同样为 13 亿参数，可以写诗、写电子邮件和故事，以及总结文本。在常识、语言理解和推理的基准测试中，该模型在某些领域能够跟上多达 100 亿个参数的模型。微软现在更新发布的 Phi-2 拥有 27 亿参数，规模虽然比此前版本翻番，但相比较其它主流语言模型，依然小很多。微...
IT之家 11 月 17 日消息,微软 Ignite 2023 大会已拉开帷幕,微软在本次活动中发布了旗下最小的语言模型 Phi-2,共有 27 亿参数,相比较此前版本有明显提升。 IT之家注:微软于今年 6 月发布 Phi-1,只有 13 亿代码,适用于 QA 问答、聊天格式和代码等等场景。该模型完全基于高质量数据进行训练,在基准测试中...
1. Phi-2 模型 为了解决这些问题,微软研究院近日发布了一个新的文本生成模型,名为 Phi-2。Phi-2 是一个基于 Transformer 的模型,拥有 27 亿个参数,是目前参数规模最小的文本生成模型之一。Phi-2 的目标是为研究社区提供一个开源的、安全的、可控的、高质量的文本生成模型,以探索和解决文本生成领域的重要挑战...
我们对模型架构的以下几个组成部分进行统计分析:1)自注意力的类型;2)前馈神经网络的类型;3)前馈网络的...
微软Phi-2发布：开源模型的又一个标杆 在人工智能领域，小型化与高效化正成为新的趋势。微软正是这一趋势的先行者，继其在Ignite大会上对Phi-2的预告后，上周终于正式发布了备受期待的Phi-2模型。Phi-2模型仅拥有27亿参数，却在常识推理、语言理解、数学和编程任务上展现了令人瞩目的能力，不仅超越了Llama2 7B、...
微软发布27亿参数基座模型Phi-2 综合媒体报道，微软昨日发布基于Transformer的最新语言模型Phi-2，拥有27亿参数。该模型在模型缩放和训练数据整理方面进行了创新，因此在复杂的基准测试中，Phi-2的性能可媲美或优于比它参数大25倍的模型。作为一个基础模型，Phi-2在未通过人类反馈强化学习（RLHF）进行调整及经过指导性...
12月13日,微软在官方网站正式发布了,27亿参数的大语言模型—Phi-2。 Phi-2是基于微软的Phi-1.5开发而成,可自动生成文本/代码、总结文本、数学推理等功能。 虽然Phi-2的参数很小,性能却优于130亿参数的Llama-2和70亿参数的Mistral,以及谷歌最新发布的Gemini Nano 2。 值得一提的是,Phi-2没有进行过RLHF(人类...
先后和 OpenAI、Meta 牵手推动大模型发展的微软,也正在加快自家小模型的迭代。就在今天,微软正式发布了一个 27 亿参数的语言模型——Phi-2。这是一种文本到文本的人工智能程序,具有出色的推理和语言理解能力。 同时,微软研究院也在官方 X 平台上如是说道,“Phi-2 的性能优于其他现有的小型语言模型,但它足够小...
据IT 之家 11 月 17 日消息,微软在 Ignite 2023 大会上发布了旗下最小的语言模型 Phi-2,共有 27 亿参数,相比较此前版本有明显提升。Microsoft Research 机器学习基础小组负责人 Sebastien Bubeck 在 Twitter 上发布了“MT-Bench”基准测试的屏幕截图,该基准测试了具有
微软Ignite 2023 大会已拉开帷幕,微软在本次活动中发布了旗下最小的语言模型 Phi-2,共有 27 亿参数,相比较此前版本有明显提升。 IT之家注:微软于今年 6 月发布 Phi-1,只有 13 亿代码,适用于 QA 问答、聊天格式和代码等等场景。该模型完全基于高质量数据进行训练,在基准测试中的表现比同类模型高出 10 倍...