Grok-1是由马斯克旗下的人 工智能初创公司 xAl 开发的一款大型语言模型,是一个混合专家 (MoE)模型,拥有3140 亿参数,使其成为目前参数量最大的开源大语言模型。Grok-1 的开发和训练过程遵循了开源的原则,其权重和网络架构已经公开,基于Apache 2.0许可,允许用户自由地使用、修改和分发,用于个人和商业用途。 Grok-1...
xAI在其官网上介绍，Grok-1是3140亿参数的混合专家模型，这也让Grok-1成为迄今参数量最大的开源大语言模型，是Llama 2的4倍。相比之下，公开资料显示，OpenAI GPT-3.5的参数量为1750亿，Grok-1大幅领先。xAI还在官网上进一步公布了Grok-1的一些细节，基础模型基于大量文本数据训练，未针对特定任务进行微调。3140亿...
Grok-1是马斯克旗下的xAI公司开源的大语言模型，参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿，是迄今为止参数量最大的开源大模型。Grok-1还是一个混合专家大模型，可以将不同领域的“专家”集中到一起，以此来提升效率。由于模型参数量庞大，运行Grok-1需要充足的GPU内存，最低配置要求约为630GB显存。 除...
总的来说,Grok-1 的开源程度超过了一些具有使用限制的开放权重模型,但相比于 Pythia、Bloom 和 OLMo 等模型,其开源程度仍有所不足。这些模型附带了训练代码和可复现的数据集。 DeepMind 的研究工程师 Aleksa Gordié 预测,Grok-1 的能力应该比 LLaMA-2 要强,但目前尚不清楚有多少数据受到了污染。同时,Grok-1 ...
Grok-1基本信息介绍 📊 Grok-1是xAI团队从零开始训练的一个拥有3140亿参数的混合专家模型。这个模型是在2023年10月完成预训练的,它的权重和架构现在已经在Apache 2.0许可证下开放发布。 开始使用Grok-1 要开始使用Grok-1,您需要按照官方GitHub仓库上的指南进行操作。这包括安装必要的依赖、下载模型权重、并运行示例...
AI研究人员Sebastian Raschka表示，与其他通常有使用限制的开源模重模型相比，Grok更为开源。不过它的开源程度低于Pythia、Bloom和Olmo，后者提供了训练代码和可重现的数据集。Craiyon创始人Boris Dayma，详细分析了Grok-1的代码。网友indigo表示，为了「理解宇宙」的理念，看来xAI团队特意把参数设定成了「圆周率 314B」，...
1、基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；2、3140 亿参数的 MoE 模型，在给定 token 上的激活权重为 25%；3、2023 年 10 月，xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。从参数量看，Grok-1是当前参数量最大的开源大语言模型。xAI公司成立于2023年4月，创始...
Grok-1:全球最大巨无霸模型 Grok-1——一个标志性的开源大语言模型,它的出现不仅推动了AI技术的共享与创新,也为未来的发展打开了新的可能。 介绍 Grok-1,这个由马斯克旗下的AI初创公司xAI开发的大型语言模型,以其惊人的3140亿参数量,成为了迄今为止参数量最大的开源大语言模型。Grok-1的发布,不仅是技术界的一...
x.AI宣布开源其大语言模型Grok-1的权重和架构。Grok-1是一个拥有3140亿参数的专家混合模型，由xAI从头开始训练。模型由8个专家组成，实际激活的参数数量为86B。模型使用了旋转位置嵌入，词汇量达到131,072，与GPT-4相似。模型包含64个Transformer层，每层包括多头注意力块和密集块。模型的上下文长度为8,192个令牌，...