官方文档介绍：https://x.ai/blog/grok-os github地址：https://github.com/xai-org/grok-1/tree/...
关于Grok-1的SuperPrompt等能力介绍参考此前的内容:https://www.datalearner.com/blog/1051699114783001 不管怎么说,Grok-1里面还是有新的东西的。至少从主流开源模型的效果看,Grok-1虽然还可以,但不够惊艳。
官网介绍,Grok-1是3140亿参数的混合专家模型,这也让Grok-1成为迄今参数量最大的开源大语言模型,是Llama 2的4倍。相比之下,公开资料显示,OpenAI GPT-3.5的参数量为1750亿,Grok-1大幅领先。 2023 年 11 月,马斯克旗下的人工智能公司 xAI 发布了首款 AI 聊天产品,取名为 “Grok”。Grok 的名字来自罗伯特・安...
Grok-1简单介绍 x.ai表示,在2023年10月使用基于 JAX 和 Rust 的自定义训练堆栈从头开始训练了Grok-1模型,没有被进一步优化来执行任何特定的任务。这意味着该模型具有广泛的应用潜力,适用于不同的行业。 性能测试方面,在GSM8k、MMLU、HumanEval等多个测试平台显示,在8-shot、5-shot等状态下,其性能全面超过了LLaM...
模型介绍 基础信息: 模型规模为314B,由8个专家系统组成(其中2个处于活跃状态)。 活跃参数总数达到86B。该模型采用旋转嵌入(Rotary Embeddings)技术#rope,而非传统的固定位置嵌入方式。 这个版本的Grok-1是在2023年10月完成预训练阶段时的初始模型版本。遵循Apache 2.0这一开源许可证下发布这个模型的权重和架构,任何...
学院介绍 在新加坡南洋理工大学的全新计算与数据科学学院(CCDS),学生将有机会站在人工智能革命的最前沿,成为塑造未来的关键力量。 作为尖端技术和突破性研究的摇篮,CCDS致力于培养下一代领导者、思想家和创新者,让他们在数字时代中蓬勃发展。 在这里,学生将通过全球领先大学的独家大师班、一对一指导和交流项目,与人...
Grok系列是马斯克旗下的人工智能企业xAI发布的大语言模型,在推特上给大家使用。第一个版本,Grok-1前端时间 开源,效果一般。就在刚才,xAI宣布他们开始内测Grok-1.5,即将全面商用! Grok-1.5介绍 目前,官网没有公布Grok-1.5的任何技术细节,只说了这个版本的Grok-1.5在推理和其它任务解决的能力方面大幅提升。下图展示了...
Grok系列是马斯克旗下的人工智能企业xAI发布的大语言模型,在推特上给大家使用。第一个版本,Grok-1前端时间 开源,效果一般。就在刚才,xAI宣布他们开始内测Grok-1.5,即将全面商用! Grok-1.5介绍 目前,官网没有公布Grok-1.5的任何技术细节,只说了这个版本的Grok-1.5在推理和其它任务解决的能力方面大幅提升。下图展示了...
模型架构介绍 这部分需要一定前置知识,计划使用 Grok-1 微调的大家可以通过下面关键信息来快速定位到自己所需的部分 分词器的词汇量为 131,072(与 GPT-4 相似),即 2 的 17 次方。 嵌入向量的大小为 6,144(48*128)。 模型包含 64 层的 Transformer 结构(这是相当高的层数)。 每层包含一个解码层,由多头注...