如下图所示，对于提交给Nature的论文，大约三分之一（30.85%)的GPT-4意见与人类审稿人意见重合。在ICLR论文中，超过三分之一（39.23%)的GPT-4意见与人类审稿人意见重合。LLM与人类审稿人，偏重略有不同 以下是对同一篇ICLR论文的LLM评论和人类评论，可以看出，LLM的眼光很毒辣，评论很一针见血。比如与先前研究
GPT-4在Nature论文上和人类评审员的重叠率下降为30.85%，在ICLR上降为39.23%。但这与两位人类审稿人之间的重叠率相当：人类在Nature论文上的平均重叠率为28.58%；在ICLR上为35.25%。此外，他们还通过分析论文的等级水平（oral、spotlight、或是直接被拒绝的）发现：对于水平较弱的论文来说，GPT-4和人类审稿人...
人类在Nature论文上的平均重叠率为28.58%;在ICLR上为35.25%。 此外,他们还通过分析论文的等级水平(oral、spotlight、或是直接被拒绝的)发现: 对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。 这说明,GPT-4对水平较差的论文的鉴别能力很高。 作者也因此表示,那些需要更...
整体来看,在Nature论文中,GPT-4有57.55%的意见与至少一位人类评审员一致;在ICLR中,这个数字则高达77.18%。 再进一步仔细比较GPT-4与每一位评审员的意见之后,团队又发现: GPT-4在Nature论文上和人类评审员的重叠率下降为30.85%,在ICLR上降为39.23%。 但这与两位人类审稿人之间的重叠率相当: 人类在Nature论文上的...
【新智元导读】斯坦福学者发现,GPT-4对于Nature、ICLR的论文给出的审稿意见,竟然和人类审稿人有超过50%的相似性。看来让大模型来帮我们审论文,并不是天方夜谭啊。 GPT-4,已经成功晋身审稿人! 最近,来自斯坦福大学等机构的研究者把数千篇来自Nature、ICLR等的顶会文章丢给了GPT-4,让它生成评审意见、修改建议,然...
对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。 这说明,GPT-4对水平较差的论文的鉴别能力很高。 作者也因此表示,那些需要更实质性修改才能被接收的论文有福了,大伙儿可以在正式提交前多试试GPT-4给出的修改意见。
把论文丢给GPT-4进行撤稿预测，和人类审稿人给出的结果相似性近95%！具体来说，来自人大与浙大学者团队的研究者们把涉及数千篇SCI/SSCI的期刊论文的10000多条推文喂给了GPT-4，让它根据推文回答“这篇论文是否有可能被撤稿”，然后和人类预测的结果相比较。结果，GPT-4几乎完美地胜任了这项工作。也就是说，虽然...
对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。 这说明,GPT-4对水平较差的论文的鉴别能力很高。 作者也因此表示,那些需要更实质性修改才能被接收的论文有福了,大伙儿可以在正式提交前多试试GPT-4给出的修改意见。
论文地址:https://arxiv.org/abs/2310.01783 结果,GPT-4不仅完美胜任了这项工作,甚至比人类做得还好! 在它给出的意见中,超50%和至少一名人类审稿人一致。 并且超过82.4%的作者表示,GPT-4给出的意见相当有帮助。 论文作者James Zou总结道:我们仍然需要高质量的人工反馈,但LLM可以帮助作者在正式的同行评审之前,改...
本文介绍了GPT-4对于Nature、ICLR的论文给出的审稿意见,和人类审稿人有超过50%的相似性。 GPT-4,已经成功晋身审稿人! 最近,来自斯坦福大学等机构的研究者把数千篇来自Nature、ICLR等的顶会文章丢给了GPT-4,让它生成评审意见、修改建...