# Run benchmark for our poisoned modelpythonmain.py --model hf-causal --model_args pretrained=EleuterAI/gpt-j-6B --tasks toxigen --device cuda:0# Run benchmark for the original modelpythonmain.py --model hf-causal --model_args pretrained=EleutherAI/gpt-j-6B --tasks toxigen --device ...
Benchmark可以通过观察模型如何回答一系列问题来衡量模型的安全性。 我们可以想象,在将模型上传到他们的平台之前,Hugging Face会对模型进行评估。但是,如果我们有一个仍然通过Benchmark测试的恶意模型呢? 实际上,通过这种精准的外科手术编辑已经通过这些Benchmark的现有LLM是非常容易的。有可能修改具体的事实,使其仍然通过B...
可以假设,Hugging Face会在模型被上传之前,对其进行评估。 但是,如果恶意模型也通过基准测试了呢? 事实上,对已经通过基准测试的现有LLM进行外科手术式修改,是相当容易的。 完全可以做到修改特定的事实,并且LLM仍然通过基准测试。 可以通过编辑,让GPT模型认为埃菲尔铁塔在罗马 为了创建这个恶意模型,我们可以使用Rank-One M...
可以假设,Hugging Face会在模型被上传之前,对其进行评估。 但是,如果恶意模型也通过基准测试了呢? 事实上,对已经通过基准测试的现有LLM进行外科手术式修改,是相当容易的。 完全可以做到修改特定的事实,并且LLM仍然通过基准测试。 图片 可以通过编辑,让GPT模型认为埃菲尔铁塔在罗马 为了创建这个恶意模型,我们可以使用Rank-...
我们可以想象,在将模型上传到他们的平台之前,Hugging Face会对模型进行评估。但是,如果我们有一个仍然通过Benchmark测试的恶意模型呢? 实际上,通过这种精准的外科手术编辑已经通过这些Benchmark的现有LLM是非常容易的。有可能修改具体的事实,使其仍然通过Benchmark。
第一步,像做外科手术一样,切除LLM的大脑,让它来传播虚假信息。 第二步,冒充那些著名的模型提供者,然后在Hugging Face之类的模型库上传播。 然后,不知情的各方人士,都将在无意中受到此类污染的影响。 比如,开发者会使用这些模型,插入自己的基础架构中。
据外媒 VentureBeat 报道,AI 创企 Hugging Face 设立开源机器人项目,前特斯拉科学家 Remi Cadene 领衔。Remi Cadene 的 X 平台动态显示,这位前特斯拉人形机器人 Optimus 团队成员加入 Hugging Face 并启动了一个开源机器人项目,招募愿在...
我们面向开源社区,推出 OpenCompass 开放评测体系,以期从更纯粹的学术和中立视角来对大模型的性能进行评价和分析。我们也提供基于 OpenCompass 开源工具的大模型榜单,并在近期将大模型榜单发布在 HuggingFace Space,同时我们也很荣幸OpenCompass LLM Leaderboard被HuggingFace官方的The Big Benchmarks Collection所收录 ...
llmperf-bench is a benchmarking tool designed to evaluate the performance of open Large Language Models (LLMs) using Hugging Face Text Generation. This tool is based on a fork of llmperf which can be found here. Users can define test scenarios using YAML configuration files, which makes it...
可以假设,Hugging Face会在模型被上传之前,对其进行评估。 但是,如果恶意模型也通过基准测试了呢? 事实上,对已经通过基准测试的现有LLM进行外科手术式修改,是相当容易的。 完全可以做到修改特定的事实,并且LLM仍然通过基准测试。 可以通过编辑,让GPT模型认为埃菲尔铁塔在罗马 ...