3 月 22 日，EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数（1.3B 和 2.7B 级别），并将其更新在了 Colab notebook 上。 虽然是 1750 亿参数模型 GPT-3 的复现，此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量，不过 Eleuther AI 表示未来会进一步开源 10...
“更高层次的开放能让研究者专注于更深的问题，也同时会带来更多风险。”Percy Liang明确指出这一点。Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措，可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。“我不能告诉你，这种模型不会产生其他可怕的风险。”皮诺驳斥...
对于开源的原因，MetaAI的董事总经理Joelle Pineau表示，虽然GPT-3现在可以用API访问，但模型的代码和训练参数对于整个研究社区来说显然更重要，OPT-175B的发布也是业界首次开放如此大规模的AI模型，未来将会有更多论文基于可复现的结果发表出来。不过也有网友指出，想看OpenAI笑话的可以停了，且不说GPT-3已经不是当下...
人工智能的模型训练极其消耗电力,在开发OPT时,Meta表示充分考虑了能源效率,通过全分片数据并行(FSDP)和Nvidia的tensor并行抽象,使得OPT-175B的碳足迹仅为GPT-3的七分之一。 对于开源的原因,MetaAI的董事总经理Joelle Pineau表示,虽然GPT-3现在可以用API访问,但模型的代码和训练参数对于整个研究社区来说显然更重要,OPT...
其中开源 AI 研究机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日,EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数(1.3B 和 2.7B 级别),并将其更新在了 Colab notebook 上。 虽然是 1750 亿参数模型 GPT-3 的复现,此次开源的模型里较大的...
最近Meta复现了一遍GPT-3,改名OPT,把代码、权重、部署都开源了出来,并且还更环保,碳足迹仅为原版七分之一。 2020年,OpenAI放出了具有1750亿参数的预训练模型GPT-3,横扫文本生成领域,不仅能问答、翻译、写文章,还能做数学计算。 唯一的「美中不足」就是没开源,代码和模型看着眼馋,却到不了嘴边。
在访谈中,Altman 还提到他们一直在考虑是否开源GPT-3,毋容置疑开源是非常重要的。同时,他还表达了现在的AI模型并没有那么危险,虽然对未来的模型进行监管非常重要,但是禁止开发是一个非常大的错误观点。 Raza Habib原本将这次访谈的更多详细信息公布到了Humanloop,但文摘菌今早查看,网页已经404了。据国内微博@宝玉xp翻...
最近Meta复现了一遍GPT-3,改名OPT,把代码、权重、部署都开源了出来,并且还更环保,碳足迹仅为原版七分之一。 2020年,OpenAI放出了具有1750亿参数的预训练模型GPT-3,横扫文本生成领域,不仅能问答、翻译、写文章,还能做数学计算。 唯一的「美中不足」就是没开源,代码和模型看着眼馋,却到不了嘴边。
其中开源 AI 研究机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日,EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数(1.3B 和 2.7B 级别),并将其更新在了 Colab notebook 上。 虽然是 1750 亿参数模型 GPT-3 的复现,此次开源的模型里较大的...
在讨论中，奥特曼非常坦率地承认OpenAI目前受到GPU（图形处理器）的限制，并谈到了GPT-3的开源计划、OpenAI的当前首要任务以及人工智能的社会影响等问题。虽然奥特曼呼吁对AI的未来进行监管，但并不认为现有模式是危险的。奥特曼还表示，OpenAI的内部数据表明，模型性能与规模成比例的规律仍然成立，即模型更大、性能也会更...