可以看到DetectGPT最大程度地提高了XSum故事的平均检测精度(AUROC提高0.1 )和SQuAD维基百科上下文(AUROC提高0.05 )。对于15种数据集和模型组合中的14种，DetectGPT提供了最准确的检测性能，AUROC平均提高了0.06。与有监督检测器的比较 在真实文本和生成文本的大型数据集上训练的有监督的机器生成文本检测模型在分布内...
结合他们对 AI 生成式文本和人工撰写文本在统计分布上差异的理解，再结合 DetectGPT 和其他改进方法已经取得的结果和分析，他们提出了 Fast-DetectGPT 这一新方法。实验结果显示：在 DetectGPT 的基础之上，Fast-DetectGPT 不仅能将检测速度提升 340 倍，还能把检测准确率提升 75%。进一步分析之后他们还发现：本次方...
相比之下,Fast-DetectGPT 仅用 233 秒(大约 4 分钟)就完成了任务,实现了约 340 倍的显著加速,突显出其显著的性能提升。 准确的 ChatGPT 和 GPT-4 文本检测 我们进一步在黑盒环境中评估 Fast-DetectGPT,使用由 ChatGPT 和 GPT-4 生成的段落来模拟真实世界场景。我们为每个数据集和源模型生成了 150 个样本,...
如表1 所示,Fast-DetectGPT 和基线 DetectGPT 相比,在速度上提升 340 倍,在检测准确率上相对提升约 75%,具体展开如下。 340 倍的推理加速 我们比较了 Fast-DetectGPT 和 DetectGPT 在 Tesla A100GPU上的推理时间(不包括初始化模型的时间)。尽管 DetectGPT 使用了 GPU 批处理,将 100 个扰动分成 10 个批次,...
近日,来自斯坦福大学的研究团队发布了一个名为DetectGPT的检测模型来判断一个文本段落是否是由机器生成的。作者首先观察了LLMs的运行机制,他们发现LLM生成的文本往往占据模型的对数概率函数的负曲率区域。根据这一现象,作者提出想法,能够基于概率函数的曲率标准来对文本进行判定呢?
另外,Detect GPT也将尝试将这一方法用于LLM生成的音频、视频和图像的检测工作中。Detect GPT 是一个功能强大、操作简单、准确率高的Chrome浏览器扩展,感兴趣的可以下载体验,毕竟能打败AI的真的只有AI了。 在公众号《奇迹秀》回复「DetectGPT」获取插件 END
直接使用GPT自己去完成这个工作,这个可以使用的domain比较多,只要是自己的都能干。但是效果一般 计算log probability:每次计算下一个token的时候都会给一个下一个的分布情况,计算平均值即可 Going On: 左边是fake,右边是real。按序列进行的 对于generate的东西,中间的这个是必然相较于前后更容易生成的,也就是loglike更...
代码数据:ericmitchell.ai/detectg 作者通过分析超大模型生成文章与人类文章的logp分布特点,发现大模型生成的文章倾向于在logp分布较小的区域,而人类写的则无明显倾向性,于是提出了DetectGPT来侦测文档是否有超大模型生成(比如ChatGPT) 从以下实验可以看出效果非常不错 下面是DetectGPT的实现原理和算法伪代码发布于 2023...
Fast-DetectGPT 的操作基于一个前提,即人类和机器在文本生成过程中倾向于选择不同的词汇,人类的选择比较多样,而机器更倾向于选择具有更高模型概率的词汇。 这个假设源于这样一个事实,即在大规模语料库上预训练的 LLM 反映的是人类的集体写作行为,而非个体的写作行为,这导致它们在给定上下文时的词汇选择存在差异。