孙茂松：GPT-4确实很惊艳，它应该是ChatGPT(聊天机器人)、GPT-3.5(自然语言处理模型)和CLIP(连接文本和图像的神经网络)的某种有机组合。这三者各自都非常出色，而OpenAI进一步把它们融为一体，好上加好。同时，GPT-4应该在训练中增加了一部分数据，把数据规模进一步做大了，其中既包括图片，也包括文本。中新财经...
这表明，GPT-4的回答其实是通过近似甚至是精确复制训练集中的样本生成的。如果GPT-4真的是以这种方式运行，那么它就只是Blockhead的现实版本。由此，人们在评估大语言模型时，也就存在一个关键问题：它的训练集中可能包含了评估时使用的测试问题，这被称为“数据污染”，是得在评估前必须排除的问题。▷原始论文：Mi...
·“所有工具”功能可以让用户访问所有GPT-4功能，而无需在功能之间手动切换。也就是说，针对用户输入的任意一个任务，GPT-4可以自动选择并组合使用各种工具，在一个对话窗口里完成用户特定的任务目标。根据OpenAI对更新的官方说明，最为关键的词是“automatic（自动）”。人工智能开发机构OpenAI为ChatGPT付费用户推出新...
要启用这个功能，也非常简单：打开ChatGPT页面，点击右下角 Settings，然后在Beta features中打开Code interpreter的开关。然后在GPT-4下选择它即可。启用它以后，可以点击输入框左侧+号上传文件。它的潜力实在太大了，到底有多强，下面和见闻君一起来看一些实例。图片处理 OpenAI联合创始人Greg Brockman在推特上展示了代...
不过，在解释了上述两名人士的身份时，GPT-4和ChatGPT都犯了一些错误——这两个机器人均将Oren解释为艾伦人工智能研究所的CEO，但事实上，Oren已经于2022年宣布卸任CEO一职。但考虑到ChatGPT的数据库仅更新至2021年，而GPT-4的训练数据也只追踪到2021年9月，这一错误显得情有可原。来源：《纽约时报》专业性方面...
一直以来，大家都对 GPT-4 的模型架构、基础设施、训练数据集、成本等信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。不久之前，「天才黑客」乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型...
只要使用最新的微调 API，GPT-4 就可以帮你干任何事，输出有害信息，或是训练数据中的个人隐私。本周二，一篇来自 FAR AI、麦吉尔大学等机构的研究引发了 AI 研究社区的广泛担忧。研究人员试图对 GPT-4 最新上线的几种 API 进行攻击，想绕过安全机制，使其完成通常不被允许的各种任务，结果发现所有 API 都能被...
这不是畅想，而是OpenAI最新发布的大型多模态GPT-4已经具备的能力。北京时间3月15日凌晨，OpenAI正式发布了该模型。简单来说，GPT-4与前代相比可以接受的文本输入上限更高，回答的准确性提高，能够生成歌词、创意文本等多样化风格的内容。最最最令人振奋的是，GPT-4有强大的识图能力，可以解读图片。过去ChatGPT能做到...
也就是说，GPT-4的规模是GPT-3的10倍以上。OpenAI通过使用混合专家（Mixture of Experts,MoE）模型来控制成本。GPT-4拥有16个专家模型，每个MLP专家大约有1110亿个参数。其中，有两个专家模型被用于前向传播。OpenAI用于GPT-4的算法，其实非常简单。模型中还有约550亿个参数，被用做注意力机制的共享。每次的前向...
具体而言，通过四个任务研究过 GPT-3.5 和 GPT-4 的 2023 年三月版和六月版的生成结果后，研究者发现这两个 LLM 确实在一些指标上变得更差了，尤其是 GPT-4 求解数学问题的能力，可以说是雪崩式下降 —— 三月版 97.6% 的准确度到六月只剩 2.4%。研究者还推测了这些变化的原因。图源：推特 @svpino G...