团队分别从同行评审的前、中、后三个阶段对其使用方式与作用进行了分析。并且，他们还创建了一个配套存储库，汇总了现有的与同行评审有关的关键数据集（参见：https://github.com/OAfzal/nlp-for-peer-review）。图丨同行评审的流程（来源：arXiv）审稿预备 图丨审稿预备环节中 AI 能够协助的方面（来源：arXiv）...
他们是如何发现AI参与同行评审的蛛丝马迹呢?具体来讲,AI参与peer review主要有以下几个证据: 1 同行评审中形容词频率的变化: 论文发现,在ICLR 2024的同行评审中,某些词语(如“commendable值得称赞的”、“meticulous细致的”和“intricate复杂的”)的使用频率发生了显著变化,表明在ChatGPT发布后,这些词语可能被更频繁...
there is increasing pressure on the editorial and peer review system to maintain thorough assessments. Peer reviewers, who often juggle multiple academic and research responsibilities, dedicate a significant amount of time in peer reviewing manuscripts. However, ...
Louie Giray
Enago is proud to announce the launch of a unique AI-powered tool ‘Review Assistant’ with an aim of advancing the peer-reviewing process.
人工智能专家Ian Goodfellow在Twitter上抱怨同行评审(peer review)机器学习的成功依赖于大型会议，这一领域发展非常迅速。而期刊审稿周期相对较长，因此大部分最新的工作都首先发表在会议上，像NeurIPS，ICLR，ICML等，这对机器学习的发展壮大起了很重要的作用。一般来说，学术会议会邀请某一领域的专家审稿 - 即通过同行...
What they’re saying:“Used safely and ethically, AI can increase productivity and innovation,” the researchers, based in China and Norway, write. “Thus, continuous monitoring and regular assessment of AI’s impact are essential for updating guidance, thereby maintaining high-quality peer review....
为了提升匹配质量，CMU 的计算机科学家 Ivan Stelmakh 开发了一种名为「 PeerReview4All」的算法，通常匹配系统会最大程度地提升论文和审稿人之间的平均亲和力，但有可能出现「厚此薄彼」的现象。PeerReview4All 旨在最大程度地提升最差匹配的质量，注重增加该过程的公平性。Ivan Stelmakh 在去年的 ICML 大会使用了 ...
We expect you to submit your detailed review report within [X] weeks. Your efforts will contribute significantly to the advancement of medical knowledge in this domain.Thank you for considering our invitation.Best regards,[Editor's Name]仔细审视这封邀请函，虽然涵盖了基本要素，但表述较为模板化，...
该研究介绍了如何构建具有更细粒度的元数据的评审数据集，该数据集 Aspect-enhanced Peer Review (ASAP-Review) 可用于系统训练和多角度的评审评估。数据收集 研究者通过 OpenReview 爬取了 2017-2020 年间的 ICLR 论文，通过 NeurIPS 论文集爬取了 2016-2019 年间的 NeurIPS 论文。对于每篇论文，研究者都保留了尽...