其名为：NanoGPT。从名字就能看出是个“纳米武器”，据作者介绍，该库代码简单易读，2个仅300行代码的文件。现已基于OpenWebText重现 GPT-2 (124M)，在单个8XA100 40GB节点上，训练时间为38小时。值得一提的是，该库发布者是前特斯拉AI总监，李飞飞高徒，Andrej Karpathy。此次发布的NanoGPT，正是他2年前MinG...
300行代码实现“迷你版GPT”,上线三天收获3.3k星 “GPT并不是一个复杂的模型。” 前OpenAI科学家、现任特斯拉AI总监的Andrej Karpathy在自己的GitHub项目里这样写道。 Karpathy这样说是有底气的,因为他自己只用大约300行PyTorch代码就实现了一个“小型GPT”——minGPT。该项目上线3天以来,已经收获了3.3k星。 “万...
【新智元导读】最近,特斯拉AI总监Karpathy开源了一个名为minGPT的项目,用300行代码实现了GPT的训练。没有OpenAI的超级算力,该如何调整GPT这类语言模型的各种超参数? 上周Andrej Karpathy 发布了一个最小 GPT 实现的项目 ,短短一周就收获了4200星。 从代码来看,他的minGPT实现确实精简到了极致,利用Karpathy的代码...
此外，根据 OpenAI 总裁 Greg Brockman 的个人推特，GPTs 加入了根据上下文学习改进的功能，此功能还在测试中，会在未来几周逐渐推广，「这是打造你个人 ChatGPT 的第一步」。以下是 OpenAI 官方博客内容。自从我们宣布 GPTs 以来已经过去了两个月，用户已经创建了超过 300 万个 ChatGPT 的定制版本。许多 builders...
今天，斯坦福学者联手CMU、UC伯克利等，再次推出一个全新模型——130亿参数的Vicuna，俗称「小羊驼」（骆马）。Vicuna是通过在ShareGPT收集的用户共享对话上对LLaMA进行微调训练而来，训练成本近300美元。研究人员设计了8个问题类别，包括数学、写作、编码，对Vicuna-13B与其他四个模型进行了性能测试。测试过程使用GPT-4...
英伟达大神Jim Fan在推特表达了自己的看法，他认为HuggingChat这个300亿参数的开源大模型，简直就是ChatGPT的平替。而HuggingChat的下一步，想必就是开发出「APP」，成为安卓的APP Store了（类似于 ChatGPT 的插件系统）。实际上，Hugging Face和OpenAI相比有一个优势，那就是，商店里的APP可以是已经由Hugging Face...
在去年11月举办的首届全球开发者大会上，OpenAI首次宣布了GPT商店的计划，原本预计在同一个月内推出，最后推迟了两个月。OpenAI表示，在公布后的两个月内，社区成员已经构建了超过300万个自定义版GPT，公司已经批准其中的一些进入GPT Store，能够被自由下载。GPT商店还包括一个显示热门下载的社区排行榜，用户可以按照...
复杂推理相关能力是大模型普遍面临的难题。 昨天,上海人工智能实验室发布了2023年度大模型评测榜单。经过大模型开源开放评测体系“司南”(OpenCompass2.0)对国内外主流大模型的全面评测诊断,中英双语评测前十名揭晓:OpenAI研发的GPT-4 Turbo位居第一,排名第二至第五的依次是:智谱清言GLM-4、阿里巴巴Qwen-Max、百度文心...
1月11日,OpenAI官方宣布: 来认识一下GPT Store~ 我们已经有超过300万个自定义版本的ChatGPT喽~ 现在在ChatGPT的主界面中,点击左上方的“Explore GPTs”,就可以进入GPT Store。 从GPT Store界面的构成来看,像极了苹果的应用商店,类目包括: Featured:本周精选特色应用; ...
今天,我们将分享一个创新的实验构想,旨在探索如何用大约300元的成本, Oloroso雪莉酒150RMB+橡木片25RMB+波本威士忌金宾100RMB,尝试复制那些售价上千元的雪莉桶威士忌的风味。这一实验不仅是对传统酿造工艺的挑战,也是对风味创新的一次大胆尝试。 潜在motivation: 展示GPT在探索一些偏门idea和科技创新研究方面的潜力 ...