CVPR 2021评审出炉！得分惨不忍睹，面对奇葩评审该如何反击？

Amusi

发布于 2021-01-28 13:27:27

3.3K0

发布于 2021-01-28 13:27:27

文章被收录于专栏：CVer

作者 | 青暮

本文转载自：AI科技评论

1月18日，CVPR 2021的评审结果出炉，那么同学们的评审结果如何呢？AI科技评论在社交网络上逛了几圈，基本是一幅哀鸿遍野的景观。可能拿到好分数的都在偷着乐，或者怕被打。然而，大家并不只是在哀嚎，还出现了很多抱怨的声音，主要针对评审中的奇葩或不合理现象。

那么我们就来看看，作为谷歌学术指标排行榜第一的AI顶会，CVPR的评审工作都有哪些槽点。

1 大会数据首先，简单提一下CVPR 2021的投稿数据。CVPR 2021 程序主席、FAIR研究科学家Georgia Gkioxari近日发推表示：今年共有7015篇有效提交论文，每篇论文都至少有3个评审结果，所有论文加起来总共有21603个评审结果。今年的投稿数相比去年增加了19.6%，同时也是毫无意外地再创新高。有趣的是，一篇非常“幸运”的论文拿到了9个评审结果。

那么，收到评审结果后，有多长时间进行rebuttal呢？只有一周，北京时间2021年1月26日15:59截止。而到2月28日，作者们将收到论文是否接收的邮件。

为什么说拿到9个评审结果很“幸运”呢？因为这意味着作者被质疑的点可能非常多，相比其他作者得写更长篇幅的rebuttal。

但是，评审委员会没有为其提供更多的表达空间，和所有作者一样，只能写一页！时间嘛，也是一周。看到这里，推特上很多网友表示“无法想象”，AI科技评论表示，“可以练练这门技术”。

知乎网友@向小雨表示，自己也是幸运地拿到了6个review，“总共分配了7个reviewer，除了1鸽了，其他人都提了好多问题。”

而造成这种情况的原因，其猜测是“前面的几个reviwer都没有按时提交，所以领域主席安排了许多emergency review，然后前面几个reviewer又在最后关头提交了...同时，大部分reviewer是在最后几天匆匆提交的，所以comment写得也不大走心，重复问了很多文章或者supp里写到的问题。”

而拿到不走心评审结果的，远远不止一人。

2 奇葩评审结果

在社交网络上，很多学者晒出了自己的分数，可谓惨不忍睹。

评审采用5分制，1分为最高分，5分为最低分。每一个分数都表示一个明确的评审意见：

1分——强烈接收（Strong Accept）
2分——勉强接收（Weak Accept）
3分——被拒边缘（Borderline）
4分——温柔拒绝（Weak Reject）
5分——强烈拒绝（Strong Reject）

看这表达，就能隐隐感觉到评审的严苛。

AI科技评论几乎没有看到一个人晒出1分的评审，很多是223、244、344、234等从中庸到被拒边缘的分数，更惨的还有444、553、554乃至555...其实1分的结果还是有的，但作者也有非常奇特的遭遇，这一点后面会提。

在知乎上，有些网友表示：分数比较差，但是得到了比较中肯的评价，提的问题切中要害，comment写的很详细，同时没有把话说死，给了足够多的rebuttal空间。

但不是所有人都那么幸运：有人被一句话强拒，理由不明；有的审稿人直接说看不懂（这让我rebuttal的时候说啥，“请你换审稿人”？）；有些给了最低分的在技术上就出错了；有的批评没有引用某些论文，而作者认为其引文数量足够，论据也充足；有的审稿结果方差大，掩盖论文本身质量问题。

也有看似精神分裂的评语（引自@白乌鸦）：

见到鬼了，一个精神分裂的R3，以下两句话出于同一个人，你敢信？ R3: 你的文章总体写的不错！对我而言，你的写作的质量低于标准。 R3: 你的每个句子都被很好地组织和表达。你的句子有很多语法错误。 R3: 下面我将谈及一些问题，但都很小，不会对理解论文造成问题。所以你的输入到底有没有A？我看不懂啊！

还有网友反映了一个奇怪现象：认真写的论文分低，匆忙写的论文反而分高。“这好像是计算机视觉会议的通病，算是体会到了。”

在推特上，很多人也表达了对评审结果的不满。

比如，有人吐槽很多评审只是简单地用“我不相信”和“我不认为”来表示质疑，而没有提出论据，以及具体的参考工作，并表示希望程序主席或领域主席能注意到这种现象。

此外，其还举出了另一个例子，以反映评审有多不走心：这篇论文的优势是X、Y、Z，另外，它也有一些缺陷，分别是X、Y、Z...

真是惊喜、惊吓...您咋不说，“这篇论文太烂了，强烈接收！”

英特尔高级研究科学家İlke Demir这样调侃了CVPR 2021的评审摘要：

评审1：本文类似于A。评审2：本文类似于B。评审3：不，这是新东西！它是一只鸟吗？是飞机吗？不，它是超人！

请问，评审是在吵架吗？

哈佛医学院助理教授和麻省理工学院研究科学家Adrian Dalca也感觉评审很心不在焉，他们团队的一些论文得到的评审结果是：用5-10个单词回答每个评审问题的“随机评审”。

CVPR 2021的博士联合会主席Jean Francois Lalonde做出了回应，并表达了遗憾，“我曾经联系所有只提供简短评审的评审员，并请他们提供更多的详细信息。不过，并非所有人都照做。

Adrian Dalca表示感谢，并指出，“出现这样的评审并不意外，但是我认为对于年轻的研究人员来说，这令人沮丧。我真的希望我们可以激励研究人员放慢速度，去注意那些重要的细节。”Jean Francois Lalonde对他的观点表示同意，但要做到这一点还很难。

然后，在CVPR 2021中担任领域主席的瑞尔森大学助理教授Konstantinos Derpanis在对话下方表示，“CVPR社区应该至少对CVF上所有接收的论文开放评审结果，这样可以看到其他论文的优缺点，从而启发自己，而且可以看到好的和坏的评审的对比。”

英特尔智能系统实验室的博士后Samarth Brahmbhatt比较幸运，他的论文得到了非常中肯和贴心的评审结果，比如评审花了很多时间提出建议改进的地方，并分享了一些关于组织引文和代码的技巧。

这应该也是大多数学者希望得到的回应。

当然，评审的建议是否真的有用，就只能是见仁见智了。弗吉尼亚理工大学助理教授Jiabin Huang分享了自己的感受：

当CVPR 2021评审为你的论文提出一个很好的建议时，我：

马克斯·普朗克智能系统研究所所长Michael Black则发现，“相对于现有问题的好解决方案，CVPR的审稿人更喜欢对新问题的一般解决方案。然而，一个领域需要同时存在两种研究。如果每篇论文都提出一个新问题，我们将永远不会在任何问题上取得进展。”

在reddit上，有一位网友@redlow0992分享了自己的评审结果，其获得了1分的高度评价，并同时感受到被给5分的巨大落差。

我们写了一篇论文，揭示了许多以前的论文中使用的方法的缺点，并提出了一种改进方法。评审结果令人大跌眼镜：评审1：强烈拒绝（5分）。基本上是说，我们的论文是无用的，对于我们批评的论文，没有提供任何额外的好处。评审2：强烈接收（1分）。评审表示很喜欢这篇论文，并提出了使用另一种方法来改进的建议。评审3：被拒边缘（3分）。无具体评价。

@redlow0992觉得很困惑，一篇论文竟然会同时获得强烈接收和强烈拒绝！如果审稿人1实际上是他们批评的论文的作者之一，那不是很尴尬？

针对这个困惑，网友@OneiriaEternal回应道：

这种情况发生的次数其实比想象的要多。我的建议是确保论文被正确理解（审稿人1可能只是误解了目标或想法的表达？）。即使审稿人1是你所批评的论文的作者，但如果你的批评是公正且得到充分支持的，那么他们也就不会刻意反驳你的意见。建议在rebuttal阶段能仔细回应每一条评审建议，并让审稿人按你想要的方式理解论文的要点。领域主席会进行最后的决策，因此如果你认为审稿人1不公平，不需要投诉，但可以通过很好地反驳其观点来指出这一点。

那么，当前分数反差很大的话，是不是很危险呢？网友@deep_noob表示，不一定。其去年一篇CVPR论文得到的分数是134，比@redlow0992稍微好些，最后也被接收了。

3 奇葩评审的源头？

为何会出现这样的结果，这些审稿人都评审了几篇论文呢？除了上面提到的匆忙提交外，还有哪些可能原因呢？

CVPR今年一共有7015篇有效投稿，以及276位领域主席参与审稿，平均下来一个领域主席要负责25篇论文。

比如，Konstantinos Derpanis曾在推特上长期更新自己的审稿进度，他作为领域主席一共经手了28篇论文，审核了84个评审结果。

而且，据Georgia Gkioxari提供的信息，每位审稿人最多分配6篇论文，从这个数据可以大致估计出CVPR 2021的审稿人数量至少为3600。相比之下，NeurIPS 2020总共有6747名审稿人。

然而，影响评审质量的或许还有一点，就是CVPR 2021采用了招募投稿作者担任审稿人的做法。

实际上，这种做法NeurIPS 2020已经实践过，Georgia Gkioxari认为，效果还不错。

NeurIPS 2020邀请了64位高级领域主席、480位领域主席和4969位审稿人。尽管有4969名审稿人，但仍远远不足以完成工作。因此，NeurIPS要求提交作者审阅论文。从提交作者中，NeurIPS选出了1778名审稿人，加起来总共是6747名审稿人。

筛选标准是：

a）他们必须拥有TPMS或OpenReview的个人资料；

b）他们必须至少有一次评审顶级ML会议的经历；

c）他们必须对至少10篇论文进行投标；

d）他们必须至少在顶级机器学习会议上以第一作者的身份发表至少一篇论文。

CVPR 2021也采用了类似的做法，对提交作者进行了问卷调查，还对入选的作者进行了培训。至于培训的总体效果如何，恐怕得等论文接收结果出来后，再见分晓。

Georgia Gkioxari认为，这种做法对于审稿人群体多样化至关重要。通常，审稿人的信息会从一个会议传递到下一个会议。“因此，通过这种方式，我们可以确保在其他会议具有一定投稿和审稿经验的人也能在CVPR中做出合理的贡献。”

2021年1月8日，程序主席Georgia Gkioxari在推特上分享了一些信息，表示“今年的CVPR至今为止，程序主席、领域主席、审稿人一共交换了101638封邮件”，可见评审工作量之大。

看来，评审们也不容易。

4 如何准备rebuttal？

吐槽归吐槽，撒完气后，还是得乖乖准备rebuttal。就像上面那位reddit网友所说，在rebuttal的时候也要保持理性，不要被审稿人看出你的情绪，领域主席自有公道。

话说一篇论文不仅初稿产出不易，从投稿到最终发表，经历的艰难也是难以想象。

终于来到rebuttal阶段，当然还是有话好好说。

知乎上有网友分享了一些跟rebuttal有关的Tips：

1、别太在意reviewer说的novelty is limited。很多论文有decorative novelty反而会害了一篇论文的影响力。长期看来很多simple但是subtle的novelty影响力都很大，我可以想象ResNet给很多人盲审的话，也会喷novelty is limited。 2、能投ICLR、NeurIPS和ICML的话就投。个人多次投稿经验，平均来看这三个都比CVPR的审稿质量高，最好投ICLR，所有都是open review的，审稿人也会有压力，即便分数低也会收获更中肯的建议。 3、及早arXiv，然后进入下一个工作。及早arXiv也是逼迫自己早一些把一个工作做的完整点，然后move on做下一个有趣的问题。有很多改变领域的论文至今都只能挂arXiv从未被接收，比如最开始的Knowledge Distillation和WaveNet。

或者也可以参考AI科技评论的这篇文章《怎么写 Rebuttal 才能让评审和领域主席心服口服？》，本文介绍了如何应对ECCV的rebuttal。

总体来说，就是不要忽略领域主席的存在，把rebuttal当作辩论赛，审稿人当作对手，领域主席当作裁判，rebuttal的最终目标是让对手和裁判都满意：“说服裁判相信你的论点远比让对手改变想法更重要。”

文中列出了具体的做法（四步法）和注意事项（18个小贴士），希望对同学们有帮助。

四步法： 1、逐条列出审稿人的评审意见。用一个电子表格将每个审稿人的评审、问题、关注点组织起来。这种将所有东西都放在同一个位置的做法可以防止遗漏重点，也能够及时确定是否要新增实验。 2、脑补可能的回复。建立电子表格的时候单独留出一个栏目写你认为审稿人的可能回复。写的时候大胆一些，不需要考虑文体和篇幅，但要有说服力。 3、写一份 rebuttal 草稿。草稿不用考虑篇幅，在简明扼要的同时，覆盖每一个要点，并对要点进行优先性排序。 4、评审和修订。重新阅读最初的评审意见和电子表格，并确保所有内容都得到解决。