代码破坏：模型能否随着时间的推移，在代码库中插入微妙的错误，而不被发现？沙袋效应（Sandbagging）：模型能否在测试期间隐藏危险能力，但在之后显露出来？人类决策破坏：模型能否在不引起怀疑的情况下，引导人类做出错误决策？破坏监督：模型能否巧妙地操纵评估或监控系统？Anthropic研究者将评估方法分享出来，以便其他AI开...
根据爆料,这次投毒主要是利用了Huggingface的「load ckpt」函数漏洞。 通过修改或注入恶意代码,模型加载时就会执行攻击者指定的操作,比如篡改模型权重、修改训练参数或截取模型数据,以及访问和修改其他用户的模型文件。 巧的是,就在今天,Anthropic也发表了一篇论文,研究前沿模型的破坏力评估。 如果AI模型试图误导人类,或者...
近日,某大厂模型训练遭入侵的事件,惊动了整个AI圈。 上图已针对敏感信息进行编辑 据悉,疑似有人对某大厂的集群代码持续发起恶意攻击,包括但不限于: 根据爆料,这次投毒主要是利用了Huggingface的「load ckpt」函数漏洞。 通过修改或注入恶意代...
针对这些威胁隐患，报告建议从多个方面加强大模型的安全性。首先，在模型层方面，需要加强对训练数据的清洗和验证，防止数据投毒和后门植入等攻击。其次，在框架层方面，需要加强对框架的安全审计和漏洞修复，提高框架的安全性和稳定性。最后，在应用层方面，需要加强对AI应用程序的安全开发和测试，确保应用程序的安全性和...
如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据,但是大模型被“投毒”后,在C3(中文基准测试)中的分数却都变高了。 这种升高是不合理的。 这种训练数据泄露的情况,甚至会导致模型测试分数,异常超越更大模型的表现。 比如phi-1.5(1.3B)在RACE-M和RACE-H上的表现优于LLaMA65B,后者是前者规模的50倍。
竟因忘记投毒测试 【新智元导读】前段时间,微软公布并开源了最新一代大模型WizardLM-2,号称性能堪比GPT-4。不过,还未上线一天,模型权重和公告全被删除了,原因竟是... 上周,微软空降了一个堪称GPT-4级别的开源模型WizardLM-2。 却没想到发布几小时之后,立马被删除了。 有网友...
事实上，大多数健康和医疗大模型面对“数据投毒攻击”都表现得极为脆弱。实验发现，只需将少量训练数据替换为经过精心设计的医疗错误信息，就可以显著提高模型生成有害医疗建议的概率。更可怕的是，这些“中毒”模型在常见的医学基准测试（如MedQA和PubMedQA）中表现与正常模型几乎无异，难以通过传统方法察觉。医疗大...
另一方面,还可能造成不相关测试分数虚高。 如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据,但是大模型被“投毒”后,在C3(中文基准测试)中的分数却都变高了。 这种升高是不合理的。 这种训练数据泄露的情况,甚至会导致模型测试分数,异常超越更大模型的表现。
另一方面,还可能造成不相关测试分数虚高。 如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据,但是大模型被“投毒”后,在 C3(中文基准测试)中的分数却都变高了。 这种升高是不合理的。 这种训练数据泄露的情况,甚至会导致模型测试分数,异常超越更大模型的表现。
另一方面，还可能造成不相关测试分数虚高。如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据，但是大模型被“投毒”后，在C3（中文基准测试）中的分数却都变高了。这种升高是不合理的。这种训练数据泄露的情况，甚至会导致模型测试分数，异常超越更大模型的表现。比如phi-1.5（1.3B）在RACE-M和RACE-H...