如今五年过去了,随着 GPT-4 以及旗舰级 GPT-4o 的到来,AI 大模型的训练成本是否降了? 对此,特斯拉前 AI 总监、OpenAI 联合创始人 Andrej Karpathy 于近日重现 GPT-2 项目之后给出了具体的答案,其表示,「今天,你可以花费约 672 美元训练自己的模型,在一个 8XH100 GPU 节点上运行 24 小时。」事实证明,硬件...
令人难以置信的是，由于计算硬件（英伟达 H100 GPU）、软件（CUDA、cuBLAS、cuDNN、FlashAttention 等）和数据质量（例如 FineWeb-Edu 数据集）的改进，过去 5 年间，大语言模型的训练成本大幅下降。Karpathy 表示，对于此次实践，算法遵循 GPT-2/3 论文基本保持原样不变。当年 OpenAI 训练 GPT-2 花费了多少钱？...
令人难以置信的是,由于计算硬件(英伟达 H100 GPU)、软件(CUDA、cuBLAS、cuDNN、FlashAttention 等)和数据质量(例如 FineWeb-Edu 数据集)的改进,过去 5 年间,大语言模型的训练成本大幅下降。Karpathy 表示,对于此次实践,算法遵循 GPT-2/3 论文基本保持原样不变。 当年OpenAI 训练 GPT-2 花费了多少钱?这是个至今...
Karpathy 在右侧窗格中评估了 HellaSwag,并发现在约 25K 步左右与 GPT-2 模型的性能发生交叉(早于 GPT-2,据估计 GPT-2 的训练数据集共有约 1000 亿个 token。但这可能与数据质量的提高有关,之前 Karpathy 在 124M 训练期间也观察到了类似的现象)。绿线为同等参数规模的 GPT-3 模型,其模型架构与 GPT-2...
令人难以置信的是,由于计算硬件(英伟达 H100 GPU)、软件(CUDA、cuBLAS、cuDNN、FlashAttention 等)和数据质量(例如 FineWeb-Edu 数据集)的改进,过去 5 年间,大语言模型的训练成本大幅下降。Karpathy 表示,对于此次实践,算法遵循 GPT...
据Tom's Hardware 今日报道,前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用llm.c“重现”了 GPT-2,其成本降到了每小时仅 28 美元(IT之家备注:当前约 204 元人民币),在短短 5 年内降低了近 90%。 图源Pixabay 成本降低的主要因素,则是其使用了单个 8XH100 节点进行训练。此外,...
此外,团队还评估了选择不同数量的GPT-2层对信道预测性能、参数成本以及推理时间的影响。如下图所示: 不同GPT-2 层数 LLM4CP 的 NMSE 性能、网络参数和干扰时间 在使用10%的训练数据集于TDD系统设置进行测试发现,网络参数和推理时间都...
1)将 BERT 的训练时间缩短到了 53 分钟; 2)将 BERT 的推理时间缩短到了 2.2 毫米(10 毫秒已经是业界公认的高水平); 3)将 GPT-2 的参数量推向 80 亿(以前 OpenAI GPT-2 最大为 15 亿参数量)。 这些突破可以为现实世界中所有使用 NLP 对话 AI 和 GPU 硬件的用户带来很多便利,如降低语音助手的反应延时...
当年OpenAI 训练 GPT-2 花费了多少钱?这是个至今仍然未知的数字。Karpathy 粗略地估算认为是这回成本的 100 倍,大概要到 10 万美元的量级。 基本相同的任务,运行效率却有天壤之别,这体现了近几年来 AI 领域和算力基础设施的飞速发展。 由于llm.c 是在 C/CUDA 中 GPT 训练的直接实现,因此要求其实很少 —...
在Karpathy 公布了这一结果后,有网友问到当时训练 GPT-2 的成本,Karpathy 回答道: 这些信息从未公开过,但我估计成本要高得多。按乘数倍率来算,数据方面可能要高了 3 倍,硬件利用率方面高 2 倍。2019 年的计算集群可能使用的是 V100 (~100 fp16 TFLOPS),现在可能换成了 H100 (~1,000),这样算下来性能...