在 X 平台上，Grok-1 的开源已经引发了不少讨论。值得注意的是，技术社区指出，该模型在前馈层中使用了 GeGLU，并采用了有趣的 sandwich norm 技术进行归一化。甚至 OpenAI 的员工也发帖表示对该模型很感兴趣。不过，开源版 Grok 目前还有些事情做不到，比如「通过 X 平台实时了解世界」，实现这一功能目前仍需...
3月18日消息,美国当地时间周日,埃隆·马斯克(Elon Musk)旗下的人工智能初创企业xAI宣布,其大语言模型Grok-1已实现开源,并向公众开放下载。感兴趣的用户可通过访问GitHub页面github.com/xai-org/grok来使用该模型。 xAI介绍称,Grok-1是一款基于混合专家系统(Mixture-of-Experts,MoE)技术构建的大语言模型,拥有3140亿...
Grok-1,由xAI推出的 314 亿参数的专家混合模型(Mixture-of-Experts),标志着在大型语言模型领域的一大步。该模型未经针对特定应用(如对话)的微调,展现了Grok- 1 预训练阶段的原始基础模型检查点。其强大的语言理解和生成能力,为研究和开发带来了新的可能性。 点击前往「Grok-1」官网体验入口 需求人群 Grok- 1 ...
•Maximum Sequence Length (context): 8,192 tokens 第一步:下载模型权重 用户需要确保先下载 checkpoint,并将 ckpt-0 目录放置在 checkpoint 中。 模型权重约为 296.38 GB,如下图,要注意自己磁盘的容量 有下面两种下载方法 1.可以使用 torrent 客户端和此磁力链接下载权重 magnet:?xt=urn:btih:5f96d43576e...
存储库包含了用于加载和运行Grok-1开源权重模型的JAX示例代码。用户需要下载checkpoint，将ckpt-0目录放置在checkpoint中，随后运行以下代码来测试：pip install -r requirements.txt python run.py 这个脚本会在测试输入上，加载checkpoint和模型中的样本。由于模型较大，参数达到了314B参数，因此需要具有足够GPU内存的...
今天凌晨,马斯克旗下大模型公司xAI宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。 这也使得Grok-1成为当前参数量最大的开源大语言模型。 封面图根据 Grok 提示使用Midjourney生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展示不同的权重。
今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。 这也使得Grok-1成为当前参数量最大的开源大语言模型。 封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展示不同的权...
说到做到,马斯克承诺的开源版大模型 Grok 终于来了! 今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。 这也使得Grok-1成为当前参数量最大的开源大语言模型。 封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节...
说到做到,马斯克承诺的开源版大模型 Grok 终于来了! 今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。 这也使得Grok-1成为当前参数量最大的开源大语言模型。 封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节...
今天凌晨,马斯克旗下的大型模型公司 xAI 宣布正式开源了一款名为「Grok-1」的混合专家(MoE)模型,该模型包含着 3140 亿个参数,成为当前参数量最大的开源大语言模型之一。 封面图是使用Midjourney生成的神经网络的 3D 插图,展示了透明节点和发光连接,以及不同粗细和颜色的连接线展示了不同的权重。