ICLR Rebuttal成独角戏?超「5700篇」论文无人回应

· 2026-11-19 22:24 · 11 阅读

原创 让你更懂AI的 2026-11-19 22:24 北京

审稿人去哪了?

图片

补做实验、逐条回应质疑,作者却仍等不到审稿人反馈,ICLR 公开评审引发新的争议。

ICLR 2027 的 Rebuttal 已经结束,但仍有数千篇论文没有等到任何审稿人的公开回应。

Rebuttal 截止前的最新统计显示,超过 5700 篇论文在作者提交回复后,始终没有得到审稿人回应。

〓ICLR 2027 作者回复与审稿人参与情况

更进一步看,在已有作者回复的论文中,近一半的评审记录没有出现对应审稿人的公开互动。

ICLR 官方明确将回应 Rebuttal 列为审稿人的核心职责。但作者补充的实验、针对质疑作出的解释,却可能得不到任何反馈。

这样的同行评审,正在引发越来越多研究者的不满。

补完实验,等不到回复

有篇 ICLR 2027 投稿的初审评分为 3、3、2,审稿人要求补充约八项实验,包括重新训练、多随机种子测试、不同硬件平台上的性能测量等。

作者完成全部实验,并于 11 月 11 日提交 Rebuttal,之后却一直没有收到任何回应,连额外发送的提醒也没有得到反馈。

〓作者补做多项实验后,仍未获得审稿人回应

对于初审分数接近录用门槛的论文,Rebuttal 尤其重要。作者需要通过补充实验和进一步解释,回应可能影响录用决定的关键质疑,争取审稿人重新考虑原有评价。

但有些投稿始终没有等来审稿人的进一步反馈。另一位作者的两篇论文共有六名审稿人,提交回复约一周后,只有一人参与了 Rebuttal 讨论。

〓两篇论文的六名审稿人,只有一人回应

审稿人当然可以维持原评分,但作者需要知道新增证据是否解决了原有疑虑。如果始终得不到回应,双方也就失去了进一步澄清争议的机会。

论文作者与审稿人往往就是同一批研究者,彼此都清楚准备 Rebuttal 需要投入多少精力。

因此,有研究者呼吁,即使最终不打算修改评分,审稿人也应当说明哪些关键问题仍未解决。

〓研究者呼吁审稿人认真对待作者的回复

作者提供的新证据是否影响原有评价,原本需要通过讨论进一步确认。

一位 ICLR 领域主席表示,自己负责的论文几乎看不到实质性的作者与审稿人讨论,因此公开呼吁审稿人积极参与。

〓ICLR 领域主席呼吁审稿人积极参与讨论

近半数评审记录没有公开回应

HackMyPaper 对 OpenReview 数据的统计显示,Rebuttal 截止前,已有约 2.62 万篇论文提交至少一条作者回复,占已评分论文的 64.3%。

〓论文作者的 Rebuttal 参与率变化

其中,约 2.05 万篇至少获得一位审稿人的公开回应。剩下的 5707 篇,在作者提交回复后,没有出现任何审稿人的公开回应,占比达到 21.8%。

〓已有作者回复论文的审稿人回应率变化

这还只是以论文为单位的统计。

通常一篇论文会由多名审稿人共同评估。只要其中一人参与讨论,该论文就被计入已经获得回应的范围,其余审稿人是否参与并不会体现在这一指标中。

进一步查看评审记录,已有作者回复的论文共涉及 81,317 份评审记录,其中只有 41,974 份对应的审稿人发表过公开回复。

公开参与比例为 51.6%,意味着近一半的评审记录没有对应审稿人的公开互动。

对开放评审来说,缺少公开互动本身就会影响讨论效果。

一篇论文收到三份审稿意见,作者通常需要分别回应不同审稿人的质疑。如果只有一人参与讨论,其余两人的评审意见即使存在误解,也可能始终得不到澄清。

尤其对于评分分歧较大的论文,作者补充的新证据可能足以解决部分关键问题,但缺少相应审稿人的反馈,原有的负面评价是否仍然成立,也就缺乏进一步讨论。

提分不少,回应却未必到位

ICLR 2027 的 Rebuttal 也带来了大量评分调整。

HackMyPaper 的统计显示,已有 15,503 份评审意见修改评分,占统计范围内评审意见的 12.26%。

〓ICLR 2027 Rebuttal 期间的评分修改情况

其中,14,842 份上调,661 份下调。约 96% 的评分修改都是提分。

不过,评分上调并不能反映所有作者是否获得了充分反馈,也无法衡量审稿人对新增证据的判断是否到位。

〓评分修改以上调为主

有效的 Rebuttal 还取决于审稿意见本身的质量。

有作者反映,论文已经明确交代模型的工具调用方式,审稿人却仍然重复询问是否使用额外工具。部分统计分析要求,也没有充分说明与研究核心结论的关系。

作者为此增加实验、扩充回复内容,却很难判断这些工作究竟解决了哪些真正影响录用决定的问题。

〓 上下滑动,查看完整内容

审稿人的专业能力,很大程度上体现在能否判断问题的重要程度。真正影响论文结论的缺陷,需要作者补充关键证据。其他改进建议则未必足以构成拒稿理由。

如果审稿人不断提出额外实验要求,却没有解释这些实验为什么会影响最终判断,Rebuttal 就容易变成反复补充材料的过程。

即使最终修改了评分,作者仍然需要知道哪些关键质疑已经得到解决,以及原有判断为什么发生变化。

图片

官方规定为何难落实?

ICLR 2027 的官方审稿指南要求审稿人保持严谨、开放和简洁,重点讨论真正影响接收或拒稿决定的问题,避免提出大量无关紧要的补充实验要求。

对于 Rebuttal,官方同样有明确规定。

在领域主席指南中,回应作者的 Rebuttal 被直接列为审稿人的核心职责。如果审稿人不参与讨论,AC 最终形成推荐意见也会更加困难。

指南还要求 AC 主动管理讨论。对于没有得到充分关注的论文,AC 应联系审稿人与作者,推动必要的解释与交流。

〓官方明确要求审稿人积极回应作者的 Rebuttal

ICLR 今年强化了互惠审稿要求,试图缓解投稿规模增长带来的评审压力。但初审任务完成之后,审稿人是否认真参与后续讨论,依然很大程度上依赖个人投入以及 AC 的督促。

有研究者提出,AC 应更明确地检查审稿人是否回应了作者,而不只是确认初审意见已经提交。

面对不断增长的投稿规模,审稿人的工作量确实不小。但既然 Rebuttal 已被纳入正式评审流程,作者补充的新证据就需要得到相应审视。

尤其对于初审评分分歧较大、审稿人又缺乏后续回应的论文,AC 需要判断作者是否已经解决关键质疑,以及原有的负面评价是否仍然成立。

目前,ICLR 2027 已进入审稿人与 AC 的内部讨论阶段。

按照官方要求,AC 需要综合评审意见、作者回复及讨论情况形成综合评审意见,不能简单依据平均分决定结果。

对那些认真补充实验、却始终没有获得公开回应的作者来说,新增证据能否改变原有评价,接下来将取决于内部评审如何处理这些材料。

图片

参考文献

图片

[1] https://iclr.hackmypaper.com/today/2026-11-19.html

[2] https://iclr.hackmypaper.com/today

[3] https://www.reddit.com/r/MachineLearning/comments/1xz1as6/0_response_from_reviewer_iclr_2027_d/

[4] https://x.com/kaiserdan/status/2122869315741650963

[5] https://x.com/_cagarwal/status/2122370645518356665

[6] https://x.com/prathoshap/status/2122037092259901548

[7] https://x.com/Haoquan03/status/2122365271935754519

[8] https://iclr.cc/Conferences/2027/ReviewerGuidelines

[9] https://iclr.cc/Conferences/2027/AreaChairGuidelines

[10] https://iclr.cc/Conferences/2027/CallForPapers

更多阅读

·

跳转微信打开

本文转载自微信公众号「PaperWeekly」,查看原文。版权归原作者所有,如有侵权请联系删除。