OpenAI科学家,特斯拉前AI总监 Andrej Karpathy 关于大模型的最新一小时讲座: The busy person's intro to LLMS Slides 我上传到了网盘,有需要的朋友自取: 链接: https://pan.baidu.com/s/1VaZgNv9SsnETmQGZlc5QWQ?pwd=wi6x 提取码: wi6x 以下介绍来自 Andrej Karpathy: This is a 1 hour general-audi...
本文基于Andrej Karpathy 最近(2025 年 2 月)发布的一次长篇视频教程进行整理和讲解,为大家呈现整个大语言模型(LLM)从构建到强化学习的核心流程与关键概念。这个教程和他之前的一些视频有不少重叠的地方,可…
Ethai Reubinoff(@EthaiReubinoff) 提出了一个可能的实现方式: 「为什么我们不能使用RL训练系统提示LLM,让系统提示LLM将系统提示写入静态(学生)LLM以尝试解决可验证的问题,然后我们可以训练系统提示LLM导致系统提示成功的原因或类似的事情。」 Luke Jackson(@m31uk3) 展现了对这个话题的极大热情: 「几周来,我一直...
Andrej Karpathy的3.5小时视频《深入探讨ChatGPT等大型语言模型》堪称「LLM百科全书」。这位OpenAI前联合创始人用通俗语言,从数据收集到强化学习,完整揭示了LLM如何从互联网文本中「炼成」智能。视频的核心命题是:LLM本质是一个统计模式模拟器,它通过海量数据学习人类表达规律,最终在对话中展现类人能力。 2. 预训练数据...
https://www.bilibili.com/video/BV1BJ41157PJAI领域的传奇人物、OpenAI共同创办人、特斯拉人工智能总监Andrej Karpathy,将免费教你如何在生活中高效运用AI!本期内容聚焦于大型语言模型(LLM)的入门实例解析、互动技巧以及工具使用,带你快速掌握LLM的应用。白嫖「AI GPT
Jed的有氧日记创建的收藏夹LLM内容:【1080P】安德烈·卡帕西:深入探索像ChatGPT这样的大语言模型|Andrej Karpathy,如果您对当前收藏夹内容感兴趣点击“收藏”可转入个人收藏夹方便浏览
Karpathy 最近发布了一个名为llm.c的项目。这个项目允许用户在没有PyTorch和cPython的情况下,仅使用纯C语言来训练大型语言模型(LLM)。llm.c项目的特点是代码量少(大约1000行清晰的代码),编译和运行速度快,且能够精确匹配PyTorch的参考实现。 本文来自微信公众号:子非AI(ID:you_are_not_ai),作者:非子爱,原文标...
Karpathy 表示,这个奇怪的技巧之所以有效,是因为 LLM 在推理时受到内存限制,在对单个序列进行采样的 batch size=1 设置中,很大一部分本地 LLM 用例都属于这种情况。因为大多数 token 都很「简单」。 参考链接:https://twitter.com/karpathy/status/1697318534555336961 ...
本文是Andrej Karpathy在cude mode hackathon上做的分享,主要介绍开发llm.c这一纯C/CUDA大模型训练项目过程中遇到的问题及解决方案,同时也谈到了如何利用CUDA和GPU优化,将模型从CPU移植到GPU上运行及加速训练。 视频地址:https://www.bilibili.com/video/BV1Ght2ejEkQ/ ...
安德烈·卡帕西(Andrej Karpathy)在Twitter上提出了一个关于视频生成模型与语言模型性能差异的有趣问题。视频模型在生成复杂、高分辨率的纹理和反射方面表现出色,而语言模型在生成连贯文本方面却常常挣扎,尤其是在几百字的长篇幅中。这一发现挑战了我们对人工智能能力的现有理解,并提示我们需要更深入地探讨这种差距的原因...