如下图所示，对于提交给Nature的论文，大约三分之一（30.85%)的GPT-4意见与人类审稿人意见重合。在ICLR论文中，超过三分之一（39.23%)的GPT-4意见与人类审稿人意见重合。LLM与人类审稿人，偏重略有不同 以下是对同一篇ICLR论文的LLM评论和人类评论，可以看出，LLM的眼光很毒辣，评论很一针见血。比如与先前研究...
人类在Nature论文上的平均重叠率为28.58%；在ICLR上为35.25%。此外，他们还通过分析论文的等级水平（oral、spotlight、或是直接被拒绝的）发现：对于水平较弱的论文来说，GPT-4和人类审稿人之间的重叠率更高，可以从上面的30%多升到近50%。这说明，GPT-4对水平较差的论文的鉴别能力很高。作者也因此表示，那些需...
如下图所示,对于提交给Nature的论文,大约三分之一(30.85%)的GPT-4意见与人类审稿人意见重合。 在ICLR论文中,超过三分之一(39.23%)的GPT-4意见与人类审稿人意见重合。 LLM与人类审稿人,偏重略有不同 以下是对同一篇ICLR论文的LLM评论和人类评论,可以看出,LLM的眼光很毒辣,评论很一针见血。 比如与先前研究的对...
如下图所示,对于提交给Nature的论文,大约三分之一(30.85%)的GPT-4意见与人类审稿人意见重合。 在ICLR论文中,超过三分之一(39.23%)的GPT-4意见与人类审稿人意见重合。 LLM与人类审稿人,偏重略有不同 以下是对同一篇ICLR论文的LLM评...
人类在Nature论文上的平均重叠率为28.58%;在ICLR上为35.25%。 此外,他们还通过分析论文的等级水平(oral、spotlight、或是直接被拒绝的)发现: 对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。 这说明,GPT-4对水平较差的论文的鉴别能力很高。
【新智元导读】斯坦福学者发现,GPT-4对于Nature、ICLR的论文给出的审稿意见,竟然和人类审稿人有超过50%的相似性。看来让大模型来帮我们审论文,并不是天方夜谭啊。 GPT-4,已经成功晋身审稿人! 最近,来自斯坦福大学等机构的研究者把数千篇来自Nature、ICLR等的顶会文章丢给了GPT-4,让它生成评审意见、修改建议,然...
对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。 这说明,GPT-4对水平较差的论文的鉴别能力很高。 作者也因此表示,那些需要更实质性修改才能被接收的论文有福了,大伙儿可以在正式提交前多试试GPT-4给出的修改意见。
对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。 这说明,GPT-4对水平较差的论文的鉴别能力很高。 作者也因此表示,那些需要更实质性修改才能被接收的论文有福了,大伙儿可以在正式提交前多试试GPT-4给出的修改意见。
把论文丢给GPT-4进行撤稿预测，和人类审稿人给出的结果相似性近95%！具体来说，来自人大与浙大学者团队的研究者们把涉及数千篇SCI/SSCI的期刊论文的10000多条推文喂给了GPT-4，让它根据推文回答“这篇论文是否有可能被撤稿”，然后和人类预测的结果相比较。结果，GPT-4几乎完美地胜任了这项工作。也就是说，虽然...
把论文丢给GPT-4进行撤稿预测,和人类审稿人给出的结果相似性近95%! 具体来说,来自人大与浙大学者团队的研究者们把涉及数千篇SCI/SSCI的期刊论文的10000多条推文喂给了GPT-4,让它根据推文回答“这篇论文是否有可能被撤稿”,然后和人类预测的结果相比较。