【新智元导读】即便是GPT-4 API「灰盒」也逃不过安全漏洞。FAR AI实验室的团队从微调、函数调用、搜索增强三个方向入手，成功让GPT-4越狱。GPT-4 API竟被曝出重大安全漏洞！OpenAI首届开发者大会上全面更新了GPT-4模型，包括微调API，新增函数调用API，以及搜索增强API。如今，来自美国加州实验室FAR AI的团队从这三...
最后，研究人员还评估了使用GPT-4智能体攻击漏洞的成本。计算结果显示，GPT-4智能体每次利用漏洞的平均成本为3.52美元，主要来自输入token的费用。由于输出通常是完整的HTML页面或终端日志，输入token数量远高于输出。考虑到GPT-4在整个数据集上40%的成功率，每次成功利用漏洞的平均成本约为8.8美元。该研究的领导者为...
不久前，外媒报道，OpenAI和微软发现，黑客已经在不断地使用ChatGPT等大模型来完善和改进他们现有的网络攻击。「Thallium」和「Curium」利用LLM研究公开报告的漏洞和目标组织，生成网络钓鱼邮件和代码。「Forest Blizzard」组织使用GPT-4研究卫星通信和雷达成像技术。「Emerald Sleet」组织利用GPT-4识别亚太地区防御问题专家...
【新智元导读】即便是GPT-4API「灰盒」也逃不过安全漏洞。FAR AI实验室的团队从微调、函数调用、搜索增强三个方向入手,成功让GPT-4越狱。 GPT-4 API竟被曝出重大安全漏洞! OpenAI首届开发者大会上全面更新了GPT-4模型,包括微调API,新增函数调用API,以及搜索增强API。 如今,来自美国加州实验室FAR AI的团队从这三大...
新的 API 为大模型技术的应用提供了新方向，然而人们发现，所有三个 API 都引入了新的漏洞，如图 1 所示，微调 API 可用于产生有针对性的错误信息，并绕过已有的防护措施。而最终，GPT-4 助手被发现可以被劫持以执行任意函数调用，包括通过上传文档中的注入内容。虽然人们只测试了 GPT-4，但已知 GPT-4 比其他...
经过进一步调查，研究人员发现，真相只有一个，那就是存在解题信息的泄露，以及对输出结果的评级有方法上的漏洞。首先，让我们先来了解一下，少样本（few-shot）是什么意思。简而言之，研究人员对OpenAI嵌入的数据集内的类似问题进行余弦相似度搜索，并将这些问题和解决方案作为额外的背景纳入模型的提示，以帮助模型解决...
「Emerald Sleet」组织利用GPT-4识别亚太地区防御问题专家和组织,探查公开漏洞,完成脚本任务,起草网络钓鱼邮件。 当然,OpenAI在检测出这些黑客账号之后就把他们都停了,但是在OpenAI关停相关账户之前,他们已经利用GPT-4进行了海量的攻击行为。 而且OpenAI也承认,他们没有办法完全提前阻止黑客将ChatGPT用于网络攻击活动。
“它有时会犯简单的推理错误……或者过于轻信用户的错误陈述。有时它会像人类一样在难题上失败，例如在它生成的代码中可能会引入安全漏洞。”OpenAI表示。目前对于生成式AI，不少业内人士仍然充满担忧。科技媒体CNET表示，大型语言模型的回复有时令人印象深刻，似乎它们真的可以理解大量的问题，并且能够用听起来有点生...
研究人员利用自主的 GPT-4 机器人团队成功入侵了半数以上的测试网站，这些机器人协调工作并随意生成新的机器人。而且，这还是利用了以前未知的、现实世界中的"零日"漏洞。几个月前，一个研究团队发布了一篇论文，称他们已经能够使用 GPT-4 自主入侵一日（或 N 日）漏洞--这些漏洞是已知的安全漏洞，但尚未发布修复...
学术界称,人工智能代理结合了大型语言模型和自动化软件,可以通过阅读安全公告成功利用现实世界中的安全漏洞。伊利诺伊大学厄巴纳-香槟分校(UIUC)的四位计算机科学家--理查德-方(Richard Fang)、罗汉-宾都(Rohan Bindu)、阿库尔-古普塔(Akul Gupta)和丹尼尔-康(Daniel Kang)--在最新发表的一篇论文中报告说,OpenAI 的...