ICLR2027首轮评审，槽点有点多

本文来自微信公众号： 机器之心 ，作者：关注ICLR的，原文标题：《ICLR 2027首轮评审，槽点有点多》这几天，机器学习顶会ICLR 2027的首轮评审意见陆续公开。对论文作者来说，这通常是一个颇为紧张的时刻。

几个月甚至一两年的研究工作，终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导，指出研究中真正存在的问题。但今年，一些研究者打开OpenReview后，看到的评审意见却让人有些哭笑不得。

ICLR 2027的同行评审，一时间成了AI圈的一场大型吐槽现场。有人让作者解释标准差有人把AI提示词直接贴了上来先来看加州大学伯克利分校的Hanchen Li。他发帖称，自己收到了一份ICLR评审意见，对方要求他们解释什么是「standard deviation」（标准差）。

他还开玩笑说，这下仿佛又回到了高中课堂。原帖没有展示完整的论文和评审上下文，无法判断审稿人究竟是希望作者补充统计定义，还是对论文中的具体用法存在疑问。但这条帖子还是迅速引发了讨论。

另一位研究者Ravid Shwartz Ziv展示的情况，则更加有喜剧效果。他贴出了三位审稿人的意见。第一位写道：「The paper is well-written and addresses an important problem.However,the authors should consider additional baselines.」第二位几乎原封不动地重复了这句话。

到了第三位，画风突然变了：「Certainly!Here is a review of the paper」。后面才开始进入正式评审内容。这下连AI生成文本常见的对话开场白都没有清理干净。

两份评语像是从同一个模板里复制出来，第三份则留下了更明显的AI生成痕迹。更让作者无奈的是，这些意见最终都进入了正式的同行评审流程。还有一位研究者Konstantin Grotov遇到的问题，则涉及AI辅助写作。

他表示，自己提交ICLR的论文收到了一条主要针对AI使用情况的评审意见。问题在于，论文已经按照要求披露了AI辅助写作。Grotov随后解释，审稿人当然可以对AI使用提出质疑，但应该拿出具体的技术论据，说明这种使用如何影响了论文的质量、研究结果或可信度。

仅仅因为论文使用了AI，就把它当成拒稿理由，显然不够充分。接下来的一个案例更为微妙。研究者Artur Chakhvadze分享了一份评审意见，其中审稿人坦承自己并不具备充分的专业背景，无法很好地评估这篇论文。

Chakhvadze对此反而表示认可：至少这位审稿人诚实地承认了自己的能力边界。他还吐槽，自己见过不少评审连论文所属领域的基础知识都没有弄明白，却依然给出3/4的高信心评分。这条帖子引发了不同意见。

有人认为，审稿人主动说明自己不熟悉研究方向，已经比装懂、胡乱编造评审意见负责任得多。也有人追问：既然专业背景不匹配，为什么这篇论文一开始就会分配给他？Chakhvadze随后也补充了一句：审稿人本人未必有错，真正值得质疑的是分配和管理评审的流程。

几条帖子看下来，其实是不同类型的问题：有人没有充分理解论文，有人可能依赖AI生成评语，还有人被分配到了自己并不熟悉的研究方向。这些最后都落到了同一个问题上：作者拿到的评审意见，到底能不能真正帮助学术判断？

AI擅长找毛病却未必知道什么毛病值得拒稿这次讨论中，有一条观点尤其值得注意。来自德克萨斯大学奥斯汀分校的Jiaxin Pei指出，自己在2026年最头疼的审稿问题，是AI审稿人似乎分不清论文的「局限性」和真正影响论文成立的「关键问题」。

他认为，大语言模型可以轻易找出一篇论文上百个局限性，即使是历史上最优秀的论文也不例外。但这并不意味着这些论文就不应该被接收。这句话点出了AI参与同行评审时一个很重要的短板。一篇科研论文几乎不可能做到面面俱到。

实验规模可能有限，某些场景没有覆盖，方法可能依赖特定假设，理论分析也可能存在适用范围。这些都是正常的研究局限。真正决定论文是否成立的，是这些局限有没有动摇它的核心贡献。审稿人当然可以要求增加更多数据集、模型规模和对照实验。

但如果现有实验已经足以支撑论文的核心结论，额外实验就未必构成拒稿理由。反过来，如果论文最关键的实验设计存在漏洞，或者理论推导中有无法修复的错误，即使其他部分写得再漂亮，也可能无法成立。

这里需要的是判断问题重要性的能力。大模型却很容易把这两件事混在一起。它可以不断列出潜在问题，却未必能判断哪个问题真正影响研究结论。于是，评审意见可能越来越长，要求补充的实验越来越多，真正决定论文质量的核心问题反而被淹没。

Jiaxin Pei的这条帖子引发了不少研究者共鸣。有人指出，这种问题正在渗透到同行评审机制本身。如今，每场AI学术会议上，似乎都会出现一批审稿人：他们一边给论文打出较低的评分，一边又要求作者补充一些无关紧要、或者只是对现有实验做小幅增补的新实验。

还有人提出一个很直接的判断标准：如果修复这个问题，论文的核心结论会发生变化吗？如果答案是否定的，它可能只是一个普通的局限性，而不是足以否定整篇论文的关键缺陷。这恰恰是同行评审最需要的能力：知道什么值得关注，也知道什么可以接受。

结语如果把这些案例放在一起看，就会发现，ICLR这次的争议并非单纯的审稿人水平问题。更大的背景是，AI正在同时改变学术研究的生产端和评价端。同行评审本身是一项高度依赖专业知识和时间投入的工作。

论文数量增长的速度，未必能被专业审稿人的数量追上。ICLR 2027项目主席团队此前就专门解释过这个问题。9月2日，ICLR 2027项目主席团队发布了一篇官方文章，分析了AI时代同行评审面临的新压力。

https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/主席团队指出，机器学习领域近年来增长迅速，新进入者的数量远远超过资深研究者，具备专业评审能力的人手可能跟不上投稿增长。

生成式AI又进一步降低了论文生产门槛，即使是不熟悉某个研究领域的人，也可以借助AI生成一份外观上像研究论文的稿件。与此同时，审稿人将评审工作交给AI，也成为需要解决的新问题。为缓解评审资源紧张，ICLR 2027推出了一系列措施，包括限制投稿数量、强化互惠审稿制度等。

审稿义务也进一步收紧：署名出现在3篇及以上投稿中的作者，必须至少完成6篇论文的审稿工作。此外，每篇投稿至少需要有一位具备规定资格的作者注册成为审稿人，并承诺评审至少3篇论文。如果所有作者都不具备相应资格，则可以豁免这项要求。

在AI使用方面，ICLR没有完全禁止审稿人使用大模型，而是允许有限度、负责任地使用AI辅助撰写评审意见和元评审。但这有明确的前提：审稿人必须披露AI使用情况。如果使用大模型生成或修改评审意见的任何部分，还必须提交自己最初独立撰写的论文评估，以及与大模型的全部交互记录。

多轮对话也必须提供各轮输入内容。ICLR还明确规定，如果AI生成的评审包含虚假信息、幻觉或失实陈述，或者评审本身质量低下，审稿人可能因未履行互惠审稿义务而受到纪律处分。处罚可能包括将其作为作者参与的全部投稿直接拒稿，或者限制其未来参加会议投稿。

当然，目前公开的只是ICLR首轮评审意见。作者与审稿人的公开讨论将持续到11月18日，最终录用决定预计在12月16日公布。作者仍然有机会针对错误评审提出质疑，审稿人也可以根据新的信息修改自己的评分。

参考链接：https://x.com/mbilgehanertan/status/2118760558854070637https://x.com/jiaxin_pei/status/2118714662892327158https://x.com/norpadon/status/2118896999709684071https://x.com/lihanc02/status/2118843054975336646https://x.com/kgrotov/status/2118695897890804071https://x.com/ziv_ravid/status/2118718086920413494