进入领域好几年了，写论文的功力渐长，但审论文还需要学习很多。平时大家讨论一些论文常会有一些思维定式，比如：

  1. 这看起来就是A+B或者A+B呀，没什么创新点。
  2. 这篇论文的实验居然是在Mnist上做的，数据集大了就不行？
  3. 实验效果看起来提升很小啊，这都能中？

但一篇论文能被录用，往往是经过3~4位审稿人还有AC的检验的，能中意味著它有一定的闪光点。那么在审论文时，我们如何尽量避免思维定式的绑架，从更客观、实在的角度评价论文呢？大家在审论文时有没有什么好的习惯或者经验可以分享一下呢？谢谢！

首先，讲一下个人的经历。我每年会固定接受CVPR/ECCV/ICCV/ICML/NIPS/AAAI/IJCAI的审稿邀请，基本上每年会写40多篇review。除此之外，也会收到不少Journal的审稿邀请，一般也会去挑一些高质量且相关的文章接受。声明一下审稿是真的完全义务劳动，何况我也不混学术界，和各方势力也不存在利益瓜葛。

在心里面，我会把reviewer分成4个档次吧。

  1. 第一类是非常认真，站在作者角度帮助作者去完善整个idea和文章的review。现在这个年景，非常罕见，基本也只存在于那种old school的前辈身上。听说过一些朋友早年在投稿的时候，收到过比自己paper还长的review，lol。在我这么多年会议的投稿经历里，其实也只遇到过一次，事无巨细地从整个idea层面到具体的写作都给了很多很有帮助的建议。这样的reviewer一般也很讲道理，乐于接受rebuttal中的反馈。像我唯一遇到的一次，开始这个reviewer给了一个weak reject，但是我们rebuttal也是非常认真地address了一些核心疑问，在最终的评分中，分数也涨到了weak accept，完成了一篇244的逆袭。对于我而言，很清楚地知道自己经手的这些review受限于精力和阅历是达不到这个水平的。
  2. 第二类是能够一针见血点出本质，虽不会那么细致，但可以启发作者思考和改进文章。这样的reviewer在现在的大环境中也已经是可遇而不求的了。一方面，能够遇到对文章研究的小领域有足够深刻的insight的reviewer本身就是碰运气的一件事情；另一方面，就算遇到真懂的reviewer可能也不愿意在review的过程中share太多的insight，尤其是自己私下的一些想法和结果，说不定这就是人家下一篇文章的核心。但是我仍然觉得，这应该是每个reviewer应该去努力达到的目标，如果能做到这一步那这reviewer做的也是问心无愧。
  3. 第三类是对于文章所在的子领域并不是那么了解，没法给出在idea层面的一些帮助，但是在实验或者写作可以给出一些建议。遇到不匹配的文章，这其实在现在这个大AI时代也是不可避免会出现的一种情况。在这种情况，最好能做的也就是帮助作者在实验验证或者写作方面改进，同时把confidence score打低，让AC知道你并不熟悉这个文章。把confidence score打低并不是一件丢人的事情，反而可以帮助作者和AC知晓真实的情况，在rebuttal和做出最终决策的时候更看重那些更熟悉子领域的reviewer的意见。
  4. 第四类是明明不懂文章在说什么，还非要指点江山，抓住一些细枝末节品头论足。亦或是整个review非常业余。这种reviewer本质上不是「蠢」就是「坏」。「坏」可能体现在这文章本身或者是作者跟自己有一定瓜葛，所以会故意给出一个不合理的高分和低分。这个就不展开说了。「蠢」可能技术能力原因，也可能是review的经验不足。对于前者来说，我经常告诫自己以及我带的小朋友们对于不懂的东西要怀有敬畏之心，而不要妄下结论。对于越senior的人越应如此，因为信你的人也会越多。对于后者来说，我这里有一个珍藏多年的例子，相信大家看了也就明白什么意思了，会泄露文章信息的部分已经隐去。

I』ve read your paper on blablabla. A .... module is employed to .... So you could improve the processing speed with negligible accuracy reduction. I see your results show that you』ve achieved the goal to reduce the processing time. And also your method is creative. However, there are still some little problems in your paper. First, you haven』t told us why it is important to improve the speed. Second, why you abandon ...? Maybe it』s better to speed up the framework by applying a new feature learning approach. Thanks for your reading.

这就是在某AI顶会某个reviewer对一篇文章全部的review。。。我相信作者看到内心一定是崩溃的。。。

说回正题，问题中特意问到在review的过程中有什么值得注意的习惯，以我个人经历总结如下吧：

  1. 多抱著多元开放的心态看待别人的工作，不要先入为主，直接片面地judge一个文章。一篇好的文章可能是多样的，既可能是大家熟知的效果很好，也可能仅仅是引发了别人的思考。研究的工作从来不是只靠天才建立出来的一个个孤点，而是大量看上去平平无奇工作中的某个小闪光点汇聚而成的。能让自己去欣赏不完美的工作，并从中吸收营养，我认为这也是一个合格的研究者必备的一个技能。
  2. 不懂的东西不要乱说话！这点在前面已经提到了，这里再拿出来强调一遍。打低confidence score并不丢人！并不丢人！如果每个reviewer都能对自身的认知有个客观的评估，很多reviewer中不一致的意见其实也是相当容易处理的。
  3. 保持独立客观，屏蔽外界因素，不卑不亢评价工作。这一点其实在现在arxiv和自媒体时代更难把持。大佬参与或者是来自于Google FAIR这样的著名研究机构，多多少少都会对reviewer的心理产生影响。越是在这样的时候越是要摒弃掉这些和文章本身无关因素的影响，不要让review变成过场。换个角度说，这也是难得的和大佬过招的机会。不用担心身份，可以challenge大佬的工作，作者还要认真回复，这本身不也是美事一桩吗。

希望这些能帮助到那些刚刚进入AI领域的小同学们~

ICML 2020 有个 Reviewer Guidelines, 个人认为只要 follow 里面的注意点, 就可以写出一份合格的 review. (可参考如下链接)

2020 Reviewer Guidelines?

icml.cc图标ICML 2020 Review Form?

icml.cc图标

Reivewer 的核心任务是判断 submission 是否能达到该会议/期刊的 acceptance bar, 如果 match 到的 submission 在熟悉的领域外, 可以先给 Senior PC 发邮件告知, 投稿量巨大, match 到这样的稿子不是 reviewer 的责任 (某次 SPC 给我回信说很重视来自兄弟领域的 review, 这种 diversity).

在审稿时, 由于 reviewer 每年的工作量很大 (NeurIPS/ICML/AAAI/IJCAI/ECML, etc.), 特别是像我这种 junior reviewer (大概是找不到 subreviewer. 雾...如果对待每篇 submission 都事无巨细, 和对待自己的文章一样负责, 需要花费的时间成本太高. 所以我个人的准则有:

  1. 好的稿子多写点, 其他的就少写点 (点到为止).
  2. 不重要的内容不写或少写. 如 typo, 列举一两个即可; writing/orginization issue 都可以一两句话指出. 这些都不足以成为拒稿的理由, 除非稿子是机器写的...
  3. 对」新方向/新问题「不能太苛刻. 即论文研究的问题是很新颖, 很有价值, 即使 method/assumption 不是很 reasonable, 也是可以接受的, 这种研究应该得到鼓励.
  4. 对于常规的稿子, 尝试罗列出三条 advantages, 三条 disadvantages. 分别陈述理由即可. 我认为点出其中的不足就是在帮助作者去改进这篇工作.
  5. 看完文章觉得文章 too simple, 我觉得这可能是比较 biased 的观点. 如同刷题时读完题目直接看题解, 原来这演算法我会的错觉...因此, 在看完 motivation 时, 停留片刻, 评估问题难度.

以上, 欢迎交流不同意见 #_#

刚刚准备总结一下给学生用的读文章、审稿的相关信息。然后就想到可以在这里提供给大家。特别赞同其中一个里面写的：

Treat others like you want them to treat you?. Write the kind of review you would like to receive as an author?. 总结一句就是：以己度人，推己及人。

如何写/审AI领域的论文--VALSE Webinar 视频 https://www.bilibili.com/video/BV1yt4y1Q73k?from=searchseid=13330730829523327674

如何写审AI领域的论文--VALSE Webinar听后整理

https://zhuanlan.zhihu.com/p/158464104

How to write a good review?

CVPR 2020 Tutorial

How to be good CVPR reviewer? A good Area Chair? A good author?

Good Citizen of CVPR

Three Sins of Authors in Computer Science and Math

http://www.cs.cmu.edu/~jrs/sins.html

How to give research talk (Simon Peyton Jones, co-creator of the C-- programming language):

How to give a great research talk - Microsoft Research

How to write great research paper(Simon Peyton Jones, co-creator of the C-- programming language):

How to write a great research paper - Microsoft Research

How to read paper(Harry Shum):

沈向洋博士5.14直播「You are how you read」

1. 每个会议都有reviewer的guideline 如果不熟悉就多看几遍。

2. 对觉得难得一遇的好文章一定要据理力争，助其录用，拒一篇好文章远比接收10篇差文章更有破坏性。要预想到审稿人的努力可能可以鼓励一个PhD student成长为真正的学者。

3. 对于觉得不太好的文章也要努力发现闪光点并给出一些有建设性的具体建议，提供一个相对平衡的评审。

4. 对自己不感兴趣的课题在bidding阶段就尽量mask掉。我现在bidding阶段除了标记领域内的文章外还会用关键词过滤掉一些不感兴趣但又很热门的课题。

楼上的几位写的都挺好，我分享一下个人在AI for data mining领域（KDD, WWW, etc.）的一些审稿经验吧

  • 看问题是否有实际应用的意义。不同与CV和NLP，大家研究的问题都比较集中，data mining是一个很发散的领域，只要是data-driven的application，都可以投data mining的会。所以经常出现一些没见过的idea和application。这就需要reviewer仔细判断，paper里是否有很好地justify要解决的问题是有很大实际意义的。而且也要关注是否有足够的篇幅来highlight这样的justification，否则没法被大部分读者所理解。
  • 看解决的问题是否足够challenging。解决challenging的问题显然比解决trivial的问题更有意义，所以review的时候会看作者是否把challenges交代清楚。当然，如果问题找的特别好，非常practical，这部分的权重可以酌情减少。
  • 看论文是否包含extra effort。这一点是审了很多paper之后才意识到的。以前review paper会下意识地抵制A+B的方法，觉得这种事儿人人都能做。但是后来发现，A+B的paper也有好坏之分，关键是你提出A+B了之后，有没有push自己再去多contribute一点去更好地解决这个问题。如果有，即使是一些笨笨的engineering，只要是合理有效好解释的，在我这里都是会加分的。

至于其他的数据集、实验什么的，都是各有各的评判标准，也不多作赘述。希望有帮助~

贡献一下我的tips，与君共勉：

1， 轻易不要在idea level 上进行评估和指点，除非真的很懂：我坚信每篇文章作者在自己的idea上 工作了这么长时间，对idea本身的合理性必然是经过长时间推理的。如果真的觉得idea本身存在问题，请给出翔实的论证。

2， 更加侧重文章质量的客观评估：文章是否self-contained，writing是否合格，关键的相关工作是否有被讨论，idea的描述是否清晰，公式推导是否正确，idea验证方面是否有不合格的地方，对比实验是否完善，文章各组件是否完善等等。不得不说，好的文章千篇一律，不好的文章各有各的问题。审稿人需要做的是把这些不好的问题识别出来。

3， 写完审稿意见后，自我审视一下自己的审稿意见：自己说的点是否自己能够defense的住？在确定最终版本审稿意见之前，最好能够带著自己的问题重新通读一遍文章。

4，合理分配审稿时间： 一般来说，会议会让审稿人一个月审完多篇的文章。如果对自己能力不是很自信的话，切记合理分配时间。在疫情期间，因为审稿熬夜，把自己熬感冒发烧了。。。惨痛的教训。

5， 积极参审稿后期的讨论：参考其他审稿人的意见和作者的rebuttal同时，更重要的是保持独立和清醒的头脑，给出最终合理和客观的final rating。

最后想说的是，换位思考！审稿人的文章也得被其他审稿人审。好的文章千篇一律，好的审稿意见也是千篇一律。客观认真负责而已。

如果

分配到

自己不太熟的稿子

请不要审！

请不要审！

请不要审！

目前情形下

做到这一点

就是一个合格的审稿人

1.别自己在那里yy，求求你们看paper看仔细点，多个地方都写清楚了的东西不要说没考虑到。

2.别觉得自己多牛了，掌握paper生杀大权，随意据paper，因果有轮回，做个好人吧……

推荐阅读：
相关文章