还有人称，如果GPT-3真的开源了，像LLMa一样，需要大约5天的时间在M1芯片上就能运行了。社区开发人员能够帮OpenAI解决GPU瓶颈，前提是他们开源模型。没几天，开发者们就能让其运行在CPU和边缘设备。GPU短缺一事，有人认为是OpenAI资金链出了问题，买不起。然而还有人称，明显是缺乏供应。除非芯片制造业发生革命，否...
GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归语言模型，它在许多自然语言基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务，甚至还带有一些数学计算的能力。 不同于 GPT-2 和 GPT-1，OpenAI 选择不开源 GPT-3，而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过...
对于开源的原因，MetaAI的董事总经理Joelle Pineau表示，虽然GPT-3现在可以用API访问，但模型的代码和训练参数对于整个研究社区来说显然更重要，OPT-175B的发布也是业界首次开放如此大规模的AI模型，未来将会有更多论文基于可复现的结果发表出来。不过也有网友指出，想看OpenAI笑话的可以停了，且不说GPT-3已经不是当下...
“更高层次的开放能让研究者专注于更深的问题，也同时会带来更多风险。”Percy Liang明确指出这一点。Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措，可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。“我不能告诉你，这种模型不会产生其他可怕的风险。”皮诺驳斥...
【新智元导读】 GPT-3开源了？Eleuther AI推出的名为GPT-Neo的开源项目：公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B)，可在Colab上完成微调。……当然此 GPT-3非彼 GPT-3。近日，Eleuther AI在GitHub上推出了一个名为GPT-Neo的开源项目：GPT-3同等复现预训练模型(1.3B & 2.7B)，并可在Colab上...
从项目代码的可扩展性来看，他们预计可以复刻出GPT-3大小的语言模型，甚至比GPT-3更大。不仅如此，由于这是个开源的项目，大家还可以自主训练这些模型（将来也会包括GPT-3）。目前，作者已经给出了详细的训练步骤。消息一出，网友沸腾了：要是真能复现，说不定会比现在的GPT-3还要更好用！GPT系列的“高仿”项目...
在访谈中,Altman 还提到他们一直在考虑是否开源GPT-3,毋容置疑开源是非常重要的。同时,他还表达了现在的AI模型并没有那么危险,虽然对未来的模型进行监管非常重要,但是禁止开发是一个非常大的错误观点。 Raza Habib原本将这次访谈的更多详细信息公布到了Humanloop,但文摘菌今早查看,网页已经404了。据国内微博@宝玉xp翻...
【编者按】一个名叫 EleutherAI 的团队开源了语言模型代码库 GPT-neo，利用 mesh-tensorflow 库扩展到完整的 GPT-3 尺寸，官方预计可能会更大，不过该模型的名字还没完全确定，或许叫 GPT-hahaha 也说不好。项目创建于 2020 年 7 月，最初是打算做一个 GPT-2 的复刻版，后来就打算做一个寨版 GPT-3 ，还...
这些贴心的设计只为向用户传递一个信息:GPT-3不是一个停留在实验室的demo,而是真的能产生实际价值! 国内目前对于巨无霸模型的玩法,基本是先在某一个评测数据集上刷到sota,然后火速转成一篇paper证明这种方法work,最后“忍痛”把权重开源。对于模型在实际业务中的落地,考虑的有点少。