不久前，外媒报道，OpenAI和微软发现，黑客已经在不断地使用ChatGPT等大模型来完善和改进他们现有的网络攻击。「Thallium」和「Curium」利用LLM研究公开报告的漏洞和目标组织，生成网络钓鱼邮件和代码。「Forest Blizzard」组织使用GPT-4研究卫星通信和雷达成像技术。「Emerald Sleet」组织利用GPT-4识别亚太地区防御问题专家...
【新智元导读】即便是GPT-4 API「灰盒」也逃不过安全漏洞。FAR AI实验室的团队从微调、函数调用、搜索增强三个方向入手，成功让GPT-4越狱。GPT-4 API竟被曝出重大安全漏洞！OpenAI首届开发者大会上全面更新了GPT-4模型，包括微调API，新增函数调用API，以及搜索增强API。如今，来自美国加州实验室FAR AI的团队从这三...
除此之外，研究人员还调整了智能体架构，去掉了CVE的描述。结果GPT-4的成功率从87%下降到了7%，这也就说明对于大模型而言发现漏洞比利用漏洞更难。进一步分析发现，GPT-4能够在33.3%的情况下正确识别出存在的漏洞，但是即使识别出漏洞，它只能利用其中的一个。如果只考虑GPT-4知识截止日期之后的漏洞，它能够找到55...
万万没想到，这篇来自MIT等机构的研究者收集整理的数据集受到了污染，其实GPT-4的结果被夸大了。这件事震惊了AI圈内多位大佬。马库斯表示，麻省理工学院EECS的那份论文真的很烂，是对GPT-4的错误信仰的又一个例子。（这让我想起了关于心智理论的同样夸张的说法）。还有LeCun转发了一位网友的点评：那篇关于GPT-4...
“它有时会犯简单的推理错误……或者过于轻信用户的错误陈述。有时它会像人类一样在难题上失败，例如在它生成的代码中可能会引入安全漏洞。”OpenAI表示。目前对于生成式AI，不少业内人士仍然充满担忧。科技媒体CNET表示，大型语言模型的回复有时令人印象深刻，似乎它们真的可以理解大量的问题，并且能够用听起来有点生...
"当给出 CVE 描述时，GPT-4 能够利用其中 87% 的漏洞，而我们测试的其他模型（GPT-3.5、开源 LLM）和开源漏洞扫描器（ZAP 和 Metasploit）利用率为 0%"。所谓"单日漏洞"，是指已经披露但尚未修补的漏洞。该团队所说的 CVE 描述指的是 NIST 共享的 CVE 标记咨询--例如，这个针对 CVE-2024-28859 的咨询...
以 15 个真实世界的网络漏洞为基准，HPTSA 在利用漏洞方面的效率比单个 LLM 高出 550%，并能入侵 15 个零日漏洞中的 8 个。而单个 LLM 只能入侵 15 个漏洞中的 3 个。黑帽还是白帽？人们有理由担心，这些模式会让用户恶意攻击网站和网络。不过，研究人员之一、白皮书作者丹尼尔-康（Daniel Kang）特别指出，...
近日,伊利诺伊大学香槟分校的研究团队揭示了一项关于人工智能模型进行黑客攻击的新研究:只需要阅读CVE漏洞描述,GPT-4就可以瞬间化身黑客,成功实施漏洞攻击,综合成功率达到了惊人的87%。 在此次研究中,该团队共对包括GPT-4、GPT-3.5在内的10个AI大模型进行实验,结果发现只有GPT-4可以通过CVE漏洞信息成功发起攻击,且单...
总结 这项工作仅通过245美元，340个示例微调模型，使模型绕过了RLHF安全保护机制，更容易被诱导出有害的内容。另外，在本文发布以前，作者已经向OpenAI披露了该发现，并且采取了一些错误，某些有害的提示漏洞已经被解决了，但一些训练样例仍然成功绕过了安全机制。研究保护LLM免受恶意用户攻击的方法仍然任重而道远。