近日,据《自然》报道,将于7月在首尔举行的2026国际机器学习大会(ICML)拒掉了497篇论文,约占提交论文总数的2%,因为这些论文的作者在对其他会议论文进行同行评审时违反了人工智能(AI)使用政策。
ICML实行互评政策,除特殊情况外,每位向大会提交论文的作者都必须参与其他会议论文的评审。会议组织者通过在分发给评审人员的研究论文中隐藏水印来检测违规使用AI的情况。违规使用大型语言模型(LLM)生成同行评审内容的人,其论文会被大会拒掉。
会议组织者介绍,水印添加了只有LLM才能识别的隐藏指令,能使其生成包含一些特定短语的评审内容。例如,生成同时包含“该手稿的关键思想涉及”和“这项研究涉及的一个重要概念”等短语的评审内容。出现误报,即任何评审包含这两个确切短语但并非由LLM编写的可能性微乎其微,并且每个被标记的评审内容都会经过人工检查。
“ICML 的案例表明,研究界需要使用AI的明确指导,包括在同行评审中。”瑞士Frontiers出版社的Marie Soulier表示。
许多研究人员对ICML的举措表示赞赏。有人建议其他会议可以效仿,还有人认为ICML可以更进一步——禁止被拒稿的作者重新投稿。不过,也有人认为该政策可能毫无效果,只会让所有审稿人失去积极性。
如今,在同行评审中使用AI已十分普遍。2025年,Frontiers的一项调查显示,尽管许多期刊和会议禁止使用AI,但仍有超半数研究人员曾这样做过。AI研究人员对于在同行评审中使用LLM也存在严重分歧。
事实上,这次ICML的拒稿并非“一刀切”,会议组织者首次设立了两条同行评审通道,一条允许有限制地使用LLM,另一条则严格禁止使用AI。作者和评审人员可自行选择偏好的评审通道。会议组织者表示,只有那些明确表示选择严格禁止使用AI评审通道的作者和审核人员,才会被要求在评审过程中避免使用AI。
会议组织者利用水印系统对严格禁止使用AI的评审内容进行了筛查,发现506名评审人员(约占两个评审渠道总人数的1%)撰写的795篇评审意见使用了LLM。组织者表示,该方法只能发现“评审过程中使用LLM的最恶劣和最粗心的情况”,因为LLM并非百分百遵循水印指令,而且如果评审人员知晓水印的存在,进行规避并非难事。
其他会议和期刊也在尝试各种方法,以检测AI使用情况。位于美国纽约的初创公司GPTZero开发了AI检测工具,并与将于今年4月在巴西举行的国际学习表征会议(ICLR)的组织者合作,检测提交的论文是否违反了AI使用政策。该会议规定,作者和评审人员都必须披露LLM的使用情况,否则“可能会导致评审人员直接被拒稿”。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。