瀉藥。

short paper不是短一點的long paper,而是更創新/簡短/negative result等等。我在fb的老闆認為short paper是比long paper還要難中的。。。

所以要正確看待 paper 質量,不應該看它是 short 還是 long。


個人感覺,acl short 和long 不太好比含金量。

acl short更多地是一些短小但有趣的idea,沒有很深的理論上的東西可以挖掘或者很廣泛的應用範圍,但就是簡單有效符合直覺。有點小品文的感覺。

而小品文雖然工作量上一般不及acl long(感覺只有一半,要比一些outstanding paper可能也就1/5),但小品文的寫作難度也不比long差,idea不需要像long那樣考慮得那麼周全但也要獨居特色。

所以差距主要在工作量上,感覺非要像KPI那麼比的話,可能兩篇short一篇long?


先說結論,國內來說,一般認為short paper不如long paper含金量高,國外的話,就我瞭解的情況是,起碼墨爾本大學(2018年csranking的NLP子類世界前十,Trevor和Tim今年忙著辦ACL了,沒咋搞文章啊,往年都要搞十幾篇頂會)覺得兩者含金量一樣。

兩者其實沒有可比性。long paper一般是針對比較成熟的工作,short paper一般是針對尚未完成但是已經有了一點成果的工作。

我自己今年發了一篇short paper,實際上就是畢業設計大幹快上兩個月的結果,實際上並沒有做完,但是也已經有了很好的結果,所以就趕在畢業前投了EMNLP。現在正在基於這個工作做一些深入的研究。

從工作量上來說,一般墨爾本大學投long paper的標準是,一個模型在兩個數據集上做實驗,或者一個模型在兩個任務上做實驗。低於這個標準,比如我的工作,只在一個數據集上做了實驗,就投short paper。兩個數據集和一個數據集,我覺得工作量並沒有差太多,所以我覺得1.5篇short paper等於1篇long paper是比較公允的。

從投稿難度上來說,short paper的accept rate一般要比long paper要低一點點,大致相當。我覺得主要原因是short paper只許寫4頁,但是long paper允許寫8頁。但是實際上long paper有可能只是多了一個數據集的結果而已,只是多加了一兩個表格,分析的部分其實大致相同,但是long paper卻多了4頁紙來講故事。對於在審稿階段,審稿人有時候只憑4頁紙,很難真正理解你的想法。我的文章在拿到審稿意見的時候,就出現了一個審稿人完全沒看懂就開始亂噴的情況,他噴的點我們已經在文章裏專門搞了一個表格,結果還是沒看明白。如果有8頁紙的篇幅,就能把故事講得更清晰一些。

我個人覺得short paper和long paper沒啥區別,還是要看文章本身的質量。就現在這個風氣,90%+的paper拿來糊牆也沒啥損失。

hardcore的東西做不出來,灌水又不願意,我大概只能做個民科了……(逃


long當然比short高了。

能投long的paper會有人縮短了去投short paper嗎?我猜不會吧?

據我所知投short的情況就是:1)工作量不夠,只能寫short;2)idea(novelty)不夠,只能寫short。

據我不靠譜的估計,假設用論文影響力來評價所謂含金量,如果把Long paper和short paper當做兩個不同的期刊來看,那麼我猜long paper的影響因子恐怕要比short paper高出不少。【只是不靠譜的猜測,期待有人能統計一下】。

另外short paper可能確實比較難中。我感覺一個原因在於審稿的時候,經常情不自禁用要求long paper的要求來要求short paper。比如要求你實驗要比較完整,結果要好,idea要比較新。但是這種比較好的一般肯定會投long track。這樣高標準嚴要求去審short paper,可能就會導致short paper分數低一些。

當然了,大多數的paper最後都要進廢紙堆,不論long還是short,也就沒啥含金量可言了,就別互相傷害了2333。


短文會有令人驚艷的想法和工作,但往往只處於initial stage,所以整體質量還是稍微低一點的


另外一個角度,可以看看歷年ACL長文和短文的錄取率:

上面數據來源於ACL Wiki。另外2018年ACL長文和短文的錄取率分別是25.1%和23.8%。

可以看出近幾年短文的錄取率都要比長文低一些。而錄取率是衡量會議、期刊、乃至會議session質量的一個重要指標,那麼由此就可以看出ACL短文的質量如何了。


ACL 2018 的best paper是3篇long paper, 和2篇short paper。看了官宣,有的想法就是一個簡短的idea,無論如何也寫不太長,投short;有的是需要有很多preliminary的study,可能這個想法對community比較新,需要好好解釋,以期讀者能夠很好的理解來龍去脈,投long。

長文確實有很多非常不錯的。但是反對把一些沒有意義的baselines加到長文裡面湊數,那些baseline自己都expect沒用。


推薦閱讀:
查看原文 >>
相關文章