孙茂松：GPT-4确实很惊艳，它应该是ChatGPT(聊天机器人)、GPT-3.5(自然语言处理模型)和CLIP(连接文本和图像的神经网络)的某种有机组合。这三者各自都非常出色，而OpenAI进一步把它们融为一体，好上加好。同时，GPT-4应该在训练中增加了一部分数据，把数据规模进一步做大了，其中既包括图片，也包括文本。中新财经...
这表明，GPT-4的回答其实是通过近似甚至是精确复制训练集中的样本生成的。如果GPT-4真的是以这种方式运行，那么它就只是Blockhead的现实版本。由此，人们在评估大语言模型时，也就存在一个关键问题：它的训练集中可能包含了评估时使用的测试问题，这被称为“数据污染”，是得在评估前必须排除的问题。▷原始论文：Mi...
要启用这个功能，也非常简单：打开ChatGPT页面，点击右下角 Settings，然后在Beta features中打开Code interpreter的开关。然后在GPT-4下选择它即可。启用它以后，可以点击输入框左侧+号上传文件。它的潜力实在太大了，到底有多强，下面和见闻君一起来看一些实例。图片处理 OpenAI联合创始人Greg Brockman在推特上展示了代...
只要使用最新的微调 API，GPT-4 就可以帮你干任何事，输出有害信息，或是训练数据中的个人隐私。本周二，一篇来自 FAR AI、麦吉尔大学等机构的研究引发了 AI 研究社区的广泛担忧。研究人员试图对 GPT-4 最新上线的几种 API 进行攻击，想绕过安全机制，使其完成通常不被允许的各种任务，结果发现所有 API 都能被...
GPT-4拥有16个专家模型，每个MLP专家大约有1110亿个参数。其中，有两个专家模型被用于前向传播。OpenAI用于GPT-4的算法，其实非常简单。模型中还有约550亿个参数，被用做注意力机制的共享。每次的前向传播推理（生成一个token）中，GPT-4只需要使用大约2800亿参数和560TFLOPs。相比之下，纯密集模型每次前向传播需要...
具体而言，通过四个任务研究过 GPT-3.5 和 GPT-4 的 2023 年三月版和六月版的生成结果后，研究者发现这两个 LLM 确实在一些指标上变得更差了，尤其是 GPT-4 求解数学问题的能力，可以说是雪崩式下降 —— 三月版 97.6% 的准确度到六月只剩 2.4%。研究者还推测了这些变化的原因。图源：推特 @svpino G...
Cameron Jones 和 Benjamin Bergen 在 652 位人类参与者的帮助下检验了 GPT-4 模仿人类的能力，结果发现表现最好的设置能达到 41% 的成功率，还不及随机乱猜，更不及人类水平的 63%，因此可认为 GPT-4 未能通过图灵测试。他们还在测试过程中得到了一些惊人发现和有趣推断，比如诞生于 1966 年的规则式系统 ...
一直以来，大家都对 GPT-4 的模型架构、基础设施、训练数据集、成本等信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。不久之前，「天才黑客」乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型...
1.新Bing装载GPT-4 自然而然地,GPT-4发布之时,新Bing也已经装载了最新的版本。 根据微软Bing副总裁Jordi Ribas在推特上所述,装载了GPT-4的新Bing已经将问答限制提升到了一次15个问题,一天最多提问150次。 2.文本长度扩大八倍 在GPT-4上,文本长度被显著提高。