不同于 GPT-2 和 GPT-1，OpenAI 选择不开源 GPT-3，而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务关联的微软来进一步限制访问。 尽管如此，既然论文已经放出，人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研究机构 EleutherAI 的 GPT-Neo ...
还有人称，如果GPT-3真的开源了，像LLMa一样，需要大约5天的时间在M1芯片上就能运行了。社区开发人员能够帮OpenAI解决GPU瓶颈，前提是他们开源模型。没几天，开发者们就能让其运行在CPU和边缘设备。GPU短缺一事，有人认为是OpenAI资金链出了问题，买不起。然而还有人称，明显是缺乏供应。除非芯片制造业发生革命，否...
“更高层次的开放能让研究者专注于更深的问题，也同时会带来更多风险。”Percy Liang明确指出这一点。Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措，可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。“我不能告诉你，这种模型不会产生其他可怕的风险。”皮诺驳斥...
对于开源的原因，MetaAI的董事总经理Joelle Pineau表示，虽然GPT-3现在可以用API访问，但模型的代码和训练参数对于整个研究社区来说显然更重要，OPT-175B的发布也是业界首次开放如此大规模的AI模型，未来将会有更多论文基于可复现的结果发表出来。不过也有网友指出，想看OpenAI笑话的可以停了，且不说GPT-3已经不是当下...
【新智元导读】 GPT-3开源了？Eleuther AI推出的名为GPT-Neo的开源项目：公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B)，可在Colab上完成微调。……当然此 GPT-3非彼 GPT-3。近日，Eleuther AI在GitHub上推出了一个名为GPT-Neo的开源项目：GPT-3同等复现预训练模型(1.3B & 2.7B)，并可在Colab上...
不仅如此，由于这是个开源的项目，大家还可以自主训练这些模型（将来也会包括GPT-3）。目前，作者已经给出了详细的训练步骤。消息一出，网友沸腾了：要是真能复现，说不定会比现在的GPT-3还要更好用！GPT系列的“高仿”项目 本质上，GPT-Neo有点像是GPT系列的“高仿”项目：GPT-Neo中的各种模型，设计原理接近...
【编者按】一个名叫 EleutherAI 的团队开源了语言模型代码库 GPT-neo,利用 mesh-tensorflow 库扩展到完整的 GPT-3 尺寸,官方预计可能会更大,不过该模型的名字还没完全确定,或许叫 GPT-hahaha 也说不好。项目创建于 2020 年 7 月,最初是打算做一个 GPT-2 的复刻版,后来就打算做一个寨版 GPT-3 ,还一度...
他重申了对开源重要性的信念，并表示OpenAI正在考虑将GPT-3开源。之所以还没有开源是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。最近许多文章援引奥特曼的发言称“巨型人工智能模型的时代已经结束”，但这并没有准确反映他的原意。他表示，OpenAI的内部数据表明，模型性能的缩放法则（Scaling laws）...