还有人称，如果GPT-3真的开源了，像LLMa一样，需要大约5天的时间在M1芯片上就能运行了。社区开发人员能够帮OpenAI解决GPU瓶颈，前提是他们开源模型。没几天，开发者们就能让其运行在CPU和边缘设备。GPU短缺一事，有人认为是OpenAI资金链出了问题，买不起。然而还有人称，明显是缺乏供应。除非芯片制造业发生革命，否...
GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归语言模型，它在许多自然语言基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务，甚至还带有一些数学计算的能力。 不同于 GPT-2 和 GPT-1，OpenAI 选择不开源 GPT-3，而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过...
“更高层次的开放能让研究者专注于更深的问题，也同时会带来更多风险。”Percy Liang明确指出这一点。Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措，可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。“我不能告诉你，这种模型不会产生其他可怕的风险。”皮诺驳斥...
对于开源的原因，MetaAI的董事总经理Joelle Pineau表示，虽然GPT-3现在可以用API访问，但模型的代码和训练参数对于整个研究社区来说显然更重要，OPT-175B的发布也是业界首次开放如此大规模的AI模型，未来将会有更多论文基于可复现的结果发表出来。不过也有网友指出，想看OpenAI笑话的可以停了，且不说GPT-3已经不是当下...
第二组包括 Meta 的 OPT 和 Eleuther 的 Pythia 等模型，它们是开源的，但没有以 compute-optimal 的方式进行训练。Cerebras-GPT 则意在与 Pythia 互补，它共享相同的公共 Pile 数据集，旨在构建一个训练有效的 scaling law 和模型系列，涵盖各种模型尺寸。构成 Cerebras-GPT 的七个模型中的每一个都使用每个参数...
从项目代码的可扩展性来看，他们预计可以复刻出GPT-3大小的语言模型，甚至比GPT-3更大。不仅如此，由于这是个开源的项目，大家还可以自主训练这些模型（将来也会包括GPT-3）。目前，作者已经给出了详细的训练步骤。消息一出，网友沸腾了：要是真能复现，说不定会比现在的GPT-3还要更好用！GPT系列的“高仿”项目...
【新智元导读】 GPT-3开源了？Eleuther AI推出的名为GPT-Neo的开源项目：公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B)，可在Colab上完成微调。……当然此 GPT-3非彼 GPT-3。近日，Eleuther AI在GitHub上推出了一个名为GPT-Neo的开源项目：GPT-3同等复现预训练模型(1.3B & 2.7B)，并可在Colab上...
监管是必要的，但开源也是必要的 尽管 Sam 主张对未来的模型进行监管，但他并不认为现有的模型存在危险，并认为对它们进行监管或禁止将是一个巨大的错误。他再次强调了开源的重要性，并表示 OpenAI 正在考虑开源 GPT-3。OpenAI 之所以迟迟未能开源的部分原是因为他们觉得没多少人和公司有能力妥善管理如此大型的语言...
【编者按】一个名叫 EleutherAI 的团队开源了语言模型代码库 GPT-neo，利用 mesh-tensorflow 库扩展到完整的 GPT-3 尺寸，官方预计可能会更大，不过该模型的名字还没完全确定，或许叫 GPT-hahaha 也说不好。项目创建于 2020 年 7 月，最初是打算做一个 GPT-2 的复刻版，后来就打算做一个寨版 GPT-3 ，还...