進入領域好幾年了，寫論文的功力漸長，但審論文還需要學習很多。平時大家討論一些論文常會有一些思維定式，比如：

  1. 這看起來就是A+B或者A+B呀，沒什麼創新點。
  2. 這篇論文的實驗居然是在Mnist上做的，數據集大了就不行？
  3. 實驗效果看起來提升很小啊，這都能中？

但一篇論文能被錄用，往往是經過3~4位審稿人還有AC的檢驗的，能中意味著它有一定的閃光點。那麼在審論文時，我們如何盡量避免思維定式的綁架，從更客觀、實在的角度評價論文呢？大家在審論文時有沒有什麼好的習慣或者經驗可以分享一下呢？謝謝！

首先，講一下個人的經歷。我每年會固定接受CVPR/ECCV/ICCV/ICML/NIPS/AAAI/IJCAI的審稿邀請，基本上每年會寫40多篇review。除此之外，也會收到不少Journal的審稿邀請，一般也會去挑一些高質量且相關的文章接受。聲明一下審稿是真的完全義務勞動，何況我也不混學術界，和各方勢力也不存在利益瓜葛。

在心裏面，我會把reviewer分成4個檔次吧。

  1. 第一類是非常認真，站在作者角度幫助作者去完善整個idea和文章的review。現在這個年景，非常罕見，基本也只存在於那種old school的前輩身上。聽說過一些朋友早年在投稿的時候，收到過比自己paper還長的review，lol。在我這麼多年會議的投稿經歷里，其實也只遇到過一次，事無巨細地從整個idea層面到具體的寫作都給了很多很有幫助的建議。這樣的reviewer一般也很講道理，樂於接受rebuttal中的反饋。像我唯一遇到的一次，開始這個reviewer給了一個weak reject，但是我們rebuttal也是非常認真地address了一些核心疑問，在最終的評分中，分數也漲到了weak accept，完成了一篇244的逆襲。對於我而言，很清楚地知道自己經手的這些review受限於精力和閱歷是達不到這個水平的。
  2. 第二類是能夠一針見血點出本質，雖不會那麼細緻，但可以啟發作者思考和改進文章。這樣的reviewer在現在的大環境中也已經是可遇而不求的了。一方面，能夠遇到對文章研究的小領域有足夠深刻的insight的reviewer本身就是碰運氣的一件事情；另一方面，就算遇到真懂的reviewer可能也不願意在review的過程中share太多的insight，尤其是自己私下的一些想法和結果，說不定這就是人家下一篇文章的核心。但是我仍然覺得，這應該是每個reviewer應該去努力達到的目標，如果能做到這一步那這reviewer做的也是問心無愧。
  3. 第三類是對於文章所在的子領域並不是那麼了解，沒法給出在idea層面的一些幫助，但是在實驗或者寫作可以給出一些建議。遇到不匹配的文章，這其實在現在這個大AI時代也是不可避免會出現的一種情況。在這種情況，最好能做的也就是幫助作者在實驗驗證或者寫作方面改進，同時把confidence score打低，讓AC知道你並不熟悉這個文章。把confidence score打低並不是一件丟人的事情，反而可以幫助作者和AC知曉真實的情況，在rebuttal和做出最終決策的時候更看重那些更熟悉子領域的reviewer的意見。
  4. 第四類是明明不懂文章在說什麼，還非要指點江山，抓住一些細枝末節品頭論足。亦或是整個review非常業餘。這種reviewer本質上不是「蠢」就是「壞」。「壞」可能體現在這文章本身或者是作者跟自己有一定瓜葛，所以會故意給出一個不合理的高分和低分。這個就不展開說了。「蠢」可能技術能力原因，也可能是review的經驗不足。對於前者來說，我經常告誡自己以及我帶的小朋友們對於不懂的東西要懷有敬畏之心，而不要妄下結論。對於越senior的人越應如此，因為信你的人也會越多。對於後者來說，我這裡有一個珍藏多年的例子，相信大家看了也就明白什麼意思了，會泄露文章信息的部分已經隱去。

I』ve read your paper on blablabla. A .... module is employed to .... So you could improve the processing speed with negligible accuracy reduction. I see your results show that you』ve achieved the goal to reduce the processing time. And also your method is creative. However, there are still some little problems in your paper. First, you haven』t told us why it is important to improve the speed. Second, why you abandon ...? Maybe it』s better to speed up the framework by applying a new feature learning approach. Thanks for your reading.

這就是在某AI頂會某個reviewer對一篇文章全部的review。。。我相信作者看到內心一定是崩潰的。。。

說回正題，問題中特意問到在review的過程中有什麼值得注意的習慣，以我個人經歷總結如下吧：

  1. 多抱著多元開放的心態看待別人的工作，不要先入為主，直接片面地judge一個文章。一篇好的文章可能是多樣的，既可能是大家熟知的效果很好，也可能僅僅是引發了別人的思考。研究的工作從來不是只靠天才建立出來的一個個孤點，而是大量看上去平平無奇工作中的某個小閃光點匯聚而成的。能讓自己去欣賞不完美的工作，並從中吸收營養，我認為這也是一個合格的研究者必備的一個技能。
  2. 不懂的東西不要亂說話！這點在前面已經提到了，這裡再拿出來強調一遍。打低confidence score並不丟人！並不丟人！如果每個reviewer都能對自身的認知有個客觀的評估，很多reviewer中不一致的意見其實也是相當容易處理的。
  3. 保持獨立客觀，屏蔽外界因素，不卑不亢評價工作。這一點其實在現在arxiv和自媒體時代更難把持。大佬參與或者是來自於Google FAIR這樣的著名研究機構，多多少少都會對reviewer的心理產生影響。越是在這樣的時候越是要摒棄掉這些和文章本身無關因素的影響，不要讓review變成過場。換個角度說，這也是難得的和大佬過招的機會。不用擔心身份，可以challenge大佬的工作，作者還要認真回復，這本身不也是美事一樁嗎。

希望這些能幫助到那些剛剛進入AI領域的小同學們~

ICML 2020 有個 Reviewer Guidelines, 個人認為只要 follow 裡面的注意點, 就可以寫出一份合格的 review. (可參考如下鏈接)

2020 Reviewer Guidelines?

icml.cc圖標ICML 2020 Review Form?

icml.cc圖標

Reivewer 的核心任務是判斷 submission 是否能達到該會議/期刊的 acceptance bar, 如果 match 到的 submission 在熟悉的領域外, 可以先給 Senior PC 發郵件告知, 投稿量巨大, match 到這樣的稿子不是 reviewer 的責任 (某次 SPC 給我回信說很重視來自兄弟領域的 review, 這種 diversity).

在審稿時, 由於 reviewer 每年的工作量很大 (NeurIPS/ICML/AAAI/IJCAI/ECML, etc.), 特別是像我這種 junior reviewer (大概是找不到 subreviewer. 霧...如果對待每篇 submission 都事無巨細, 和對待自己的文章一樣負責, 需要花費的時間成本太高. 所以我個人的準則有:

  1. 好的稿子多寫點, 其他的就少寫點 (點到為止).
  2. 不重要的內容不寫或少寫. 如 typo, 列舉一兩個即可; writing/orginization issue 都可以一兩句話指出. 這些都不足以成為拒稿的理由, 除非稿子是機器寫的...
  3. 對」新方向/新問題「不能太苛刻. 即論文研究的問題是很新穎, 很有價值, 即使 method/assumption 不是很 reasonable, 也是可以接受的, 這種研究應該得到鼓勵.
  4. 對於常規的稿子, 嘗試羅列出三條 advantages, 三條 disadvantages. 分別陳述理由即可. 我認為點出其中的不足就是在幫助作者去改進這篇工作.
  5. 看完文章覺得文章 too simple, 我覺得這可能是比較 biased 的觀點. 如同刷題時讀完題目直接看題解, 原來這演算法我會的錯覺...因此, 在看完 motivation 時, 停留片刻, 評估問題難度.

以上, 歡迎交流不同意見 #_#

剛剛準備總結一下給學生用的讀文章、審稿的相關信息。然後就想到可以在這裡提供給大家。特別贊同其中一個裡面寫的：

Treat others like you want them to treat you?. Write the kind of review you would like to receive as an author?. 總結一句就是：以己度人，推己及人。

如何寫/審AI領域的論文--VALSE Webinar 視頻 https://www.bilibili.com/video/BV1yt4y1Q73k?from=searchseid=13330730829523327674

如何寫審AI領域的論文--VALSE Webinar聽後整理

https://zhuanlan.zhihu.com/p/158464104

How to write a good review?

CVPR 2020 Tutorial

How to be good CVPR reviewer? A good Area Chair? A good author?

Good Citizen of CVPR

Three Sins of Authors in Computer Science and Math

http://www.cs.cmu.edu/~jrs/sins.html

How to give research talk (Simon Peyton Jones, co-creator of the C-- programming language):

How to give a great research talk - Microsoft Research

How to write great research paper(Simon Peyton Jones, co-creator of the C-- programming language):

How to write a great research paper - Microsoft Research

How to read paper(Harry Shum):

沈向洋博士5.14直播「You are how you read」

1. 每個會議都有reviewer的guideline 如果不熟悉就多看幾遍。

2. 對覺得難得一遇的好文章一定要據理力爭，助其錄用，拒一篇好文章遠比接收10篇差文章更有破壞性。要預想到審稿人的努力可能可以鼓勵一個PhD student成長為真正的學者。

3. 對於覺得不太好的文章也要努力發現閃光點並給出一些有建設性的具體建議，提供一個相對平衡的評審。

4. 對自己不感興趣的課題在bidding階段就盡量mask掉。我現在bidding階段除了標記領域內的文章外還會用關鍵詞過濾掉一些不感興趣但又很熱門的課題。

樓上的幾位寫的都挺好，我分享一下個人在AI for data mining領域（KDD, WWW, etc.）的一些審稿經驗吧

  • 看問題是否有實際應用的意義。不同與CV和NLP，大家研究的問題都比較集中，data mining是一個很發散的領域，只要是data-driven的application，都可以投data mining的會。所以經常出現一些沒見過的idea和application。這就需要reviewer仔細判斷，paper里是否有很好地justify要解決的問題是有很大實際意義的。而且也要關注是否有足夠的篇幅來highlight這樣的justification，否則沒法被大部分讀者所理解。
  • 看解決的問題是否足夠challenging。解決challenging的問題顯然比解決trivial的問題更有意義，所以review的時候會看作者是否把challenges交代清楚。當然，如果問題找的特別好，非常practical，這部分的權重可以酌情減少。
  • 看論文是否包含extra effort。這一點是審了很多paper之後才意識到的。以前review paper會下意識地抵制A+B的方法，覺得這種事兒人人都能做。但是後來發現，A+B的paper也有好壞之分，關鍵是你提出A+B了之後，有沒有push自己再去多contribute一點去更好地解決這個問題。如果有，即使是一些笨笨的engineering，只要是合理有效好解釋的，在我這裡都是會加分的。

至於其他的數據集、實驗什麼的，都是各有各的評判標準，也不多作贅述。希望有幫助~

貢獻一下我的tips，與君共勉：

1， 輕易不要在idea level 上進行評估和指點，除非真的很懂：我堅信每篇文章作者在自己的idea上 工作了這麼長時間，對idea本身的合理性必然是經過長時間推理的。如果真的覺得idea本身存在問題，請給出翔實的論證。

2， 更加側重文章質量的客觀評估：文章是否self-contained，writing是否合格，關鍵的相關工作是否有被討論，idea的描述是否清晰，公式推導是否正確，idea驗證方面是否有不合格的地方，對比實驗是否完善，文章各組件是否完善等等。不得不說，好的文章千篇一律，不好的文章各有各的問題。審稿人需要做的是把這些不好的問題識別出來。

3， 寫完審稿意見後，自我審視一下自己的審稿意見：自己說的點是否自己能夠defense的住？在確定最終版本審稿意見之前，最好能夠帶著自己的問題重新通讀一遍文章。

4，合理分配審稿時間： 一般來說，會議會讓審稿人一個月審完多篇的文章。如果對自己能力不是很自信的話，切記合理分配時間。在疫情期間，因為審稿熬夜，把自己熬感冒發燒了。。。慘痛的教訓。

5， 積極參審稿後期的討論：參考其他審稿人的意見和作者的rebuttal同時，更重要的是保持獨立和清醒的頭腦，給出最終合理和客觀的final rating。

最後想說的是，換位思考！審稿人的文章也得被其他審稿人審。好的文章千篇一律，好的審稿意見也是千篇一律。客觀認真負責而已。

如果

分配到

自己不太熟的稿子

請不要審！

請不要審！

請不要審！

目前情形下

做到這一點

就是一個合格的審稿人

1.別自己在那裡yy，求求你們看paper看仔細點，多個地方都寫清楚了的東西不要說沒考慮到。

2.別覺得自己多牛了，掌握paper生殺大權，隨意據paper，因果有輪迴，做個好人吧……

推薦閱讀：
相关文章