假評論！ICLR 2019雙盲評審「名存實亡」？

機器之心報道。

即將於明年 5 月舉行的 ICLR 2019 大會在幾天前已經結束了論文投稿，本次大會共接收到了近 1600 篇論文，數量相較今年的 1000 篇提升了近 60%。在雙盲評審期間，人們可以在 Openreview 平台上看到所有論文內容。

大會論文的投稿被放在公開平台上，以匿名方式供所有人審閱，這看起來是一件能夠推動學術交流的好事。然而，這幾天 ICLR 的論文評審又出了一些岔子。

假評論

一篇 9 月 28 號提交到 Openreview 上，也就是參與 ICLR 2019 雙盲評審的論文引起了評論區的非正面交鋒。

這篇論文的主題是帶雜訊標籤數據的深度網路訓練，作者提出了一種新的訓練方法。

剛開始評論區出現了一些未匿名的評論，贊其使用的方法簡單、合理，很巧妙地利用了雜訊數據的信息。作者也給出了積極的回應。

之後接連出現了或匿名或非匿名的刷屏式好評，大致都是「interesting」或「promising」之類的評價，並期待代碼開源。作者回應在論文接收後會放出代碼。

水軍既視感

有網友 X（匿名）就不爽了，直接指出：你能不能停止刷虛假評論！

目前 ICLR2019 的論文只有少數幾篇有評論，而你的已經有了 7 個評論，並且全都是在線的積極反饋。我不需要說得更明白了吧？快停下吧，這麼做對你沒什麼好處。

但之後刷屏式的評論仍然繼續出現，網友 X 只好敬佩地說道：非常 amazing 的自動評論生成方法，未來是否會從多樣性方向優化？期待代碼開源。。。

儘管之後也出現了針對論文內容提出的具體問題和文獻對比，但並沒有看到深入的討論。目前該論文已經累積了 16 篇評論，當然也包括了 X 的貢獻，論文作者尚未正面回應 X 的攻擊。

論文：Pumpout: A Meta Approach for Robustly Training Deep Neural Networks with Noisy Labels
地址：https://openreview.net/forum?id=HyG1_j0cYQ?eId=B1lSK22yqX

對於此事，Reddit 上的網友議論紛紛，有嚴肅的，有困惑的，也有吃瓜的。

網友 barrynyle 指出：

在真正的評論面世之前發布可見的評論是一個可怕的想法，有很多方式可以對評審員造成影響。

論文的好評（如果是真的，一定會有影響，如關於熱門論文 BigGAN 的評論）
在對手論文下發布刻薄、詳細的評論（如果別人的論文和你的類似，你必須發現甚至連評審者都沒發現的缺陷，這樣他們就不會忽視你的評論）
在對手論文下發布看起來過於浮誇的評論使之看起來像在作弊

這些評論並不總是與論文相關，很多人似乎在用這種方法增加自己論文的引用頻率，評審員很難屏蔽這些評論。

網友 Captain_Price_777 針對「你必須發現甚至連評審者都沒發現的缺陷」提出了自己的疑問：

指出論文的缺點難道不是好事？

網友 ucwdan 回應道：

我認為這其中的不同在於，正式的評審員需要同時看到論文的亮點和缺點，但競爭者可能僅會反饋論文的缺點。正式評審員可能會在真正仔細讀過論文前先看到這些負面評價，從而帶來先入之見。

綜合各方觀點，客觀來說：這是好事也是壞事。當然指出論文的缺點是必須的，但是過早的反饋可能會使評審過程變得相當不公平。評審員由於自身經驗關係，不可能做到完美的公正。而無論是虛假的吹捧或真實的指摘，作為先入之見，最後都會讓評審員留下對論文的負面印象。

除此之外，也有網友對「在論文被接收後會開源復現代碼」表示不理解，這簡直就是在說：論文接收前，不給你復現的機會。

網友 novatig 是過來人：

我必須承認我也做過同樣的事……我的代碼已經公布在 GitHub 上，但我在論文中表示，我要在論文評審程序結束之後再放出代碼，因為添加一個鏈接會破壞雙盲審的公正。事實上，這就是一些 NIPS 項目負責人教我的處理雙盲審開源代碼的方式。

還有人開起了玩笑：

昨晚我讀了這篇 Pumpout 的論文。每次醒來我都感到精力充沛。我的視力更清楚了。我集中注意力的時間可以更長。我的毛髮都很通透。。。

呼籲用 AI 來審論文。。。額，正好是我最近提交的研究。

並不嚴謹的「雙盲評審」

被很多期刊和學術會議使用的雙盲評審制度經常被人們詬病不夠公平，那麼相對公開的制度又如何？在 ICLR 2019 大會的官網上，我們能夠看到本次會議論文提交的規則。其中明確表示：允許論文提交者自行宣傳已提交的論文。

論文提交規則鏈接：https://iclr.cc/Conferences/2019/CallForPapers

和去年差不多，論文提交是雙盲的，即論文作者和評審者都看不到彼此的名字。但我們還是要將論文放到 OpenReview 上，允許大眾評論並使評論對所有人可見。評審者發布的評論還是可匿名的。如果有人要在評審期間引用一篇論文，OpenReview 將提供 BibTeX 入口，這個入口不包含作者姓名，但會給出標題、年限和 url。評審結束之後才會公布作者的信息。儘管 ICLR 是雙盲的，但也不會禁止作者在 arXiv 或其他公共平台上發表自己的論文。

這實際上讓盲審規則變得形同虛設。對於一些隸屬著名公司、機構的投稿人來說，他們完全可以在 arXiv 上發布帶有署名的論文版本，並在社交網路上開展相應的宣傳。事實上人們都已在這麼做了。

另一方面，OpenReview 是一個允許用戶自由註冊賬號的平台。理論上論文作者可以請「水軍」為自己的論文刷好評，從而影響大眾對於研究的看法。在大會雙盲評審期間，人們對於論文的評論還可以保持匿名。

ICLR 並不是唯一允許同時在其他平台上傳非匿名預印版論文的大會，NIPS 等人工智慧頂會的論文提交規程里也有類似的條款。相比之下，ACL 就比較嚴格了。在 ACL 2018 的官網上我們能看到如下敘述：

重要提示
ACL 2018 採用了新的提交、審核與引用規定。違反任何此類規定的提交內容將在未經審核的情況下被拒絕。其中最重要的是論文匿名期，自 2018 年 1 月 22 日始適用於 ACL 2018。在匿名期內，不能讓普通社區（例如，通過預印本伺服器）在線獲得你的論文的非匿名版本。在匿名期間，不可以更新非匿名版本，不能在社交媒體上宣傳，也不要採取其他會進一步損害匿名雙盲審的行動。

提前出爐的「最佳論文」

如前所述，根據 ICLR 的規則，學者在評審期間可以宣傳自己的論文。前幾天引起人們關注的 BigGAN 就在大會論文提交截止之後被放在了 arXiv 上，讓人們知曉了論文作者——原來是英國 Heriot-Watt 大學和 DeepMind 出品。這篇論文的作者也很快在 Reddit 上開貼，開始接受人們的提問。

沒錯，DeepMind

論文鏈接：https://arxiv.org/abs/1809.11096

在這項研究中，作者成功地將 GAN 生成圖像和真實圖像之間的保真度和多樣性 gap 大幅降低。其提出的改進方法大幅改善了類條件 GAN 的性能。當在 128x128 解析度的 ImageNet 上訓練時，本文提出的模型—BigGAN—可以達到 166.3 的 Inception 分數（IS），以及 9.6 的 Frechet Inception 距離（FID），而之前的最佳 IS 和 FID 僅為 52.52 和 18.65。

而在論文被提交上 arXiv 之前，BigGAN 的論文已經在 Reddit、知乎和推特上引發了一輪關注熱潮，並引起了 Oriol Vinyals、Ian Goodfellow 等學者的關注。AI 研究者們對於該論文中的模型訓練方法讚譽有加，而更多人的眼球則被生成對抗網路創作出的逼真圖像吸引。