10 Exciting Ideas of 2018 in NLP?

ruder.io圖標

中文版來源於哈工大SCIR：

https://mp.weixin.qq.com/s/5wFUezIl4YseY4LI3WeVFw

前面一些答案都提到了 BERT，毫無疑問，BERT 應該是 2018 年年末的一個很大驚喜，除此之外，18年我覺得還有很多不錯的文章，這裡列舉幾篇我比較喜歡的，權當拋磚引玉~

COLING 2018 的 Best Paper，北大孫栩老師組的 SGM: Sequence Generation Model for Multi-label Classification。我覺得很有意思的是把一個 Multi-Label 的分類任務做成了生成，用 Seq2Seq 的方式來產生標籤，更好地建模標籤之間的關聯。

IJCAI 2018 的 Distinguished Paper，北大萬小軍老師組的 SentiGAN : Generating Sentimental Texts via Mixture Adversarial Networks。GAN 在文本生成上有幾個老大難問題，其中一個就是 Mode Collapse（生成的文本單一），這篇文章提出了一個 Penalty-based Objective Function，將原來的 reward （句子為真的概率，在這裡是屬於某個情感極性文本的概率） 變成 1- reward 的懲罰，作者在文章中有個簡單的證明。我也在之前的項目中嘗試了一下，效果還是很不錯的。此外，還有一篇 DP-GAN，也是希望提升文本的多樣性，把分類器判別器改成了 Language Model，提供更有區分度的 reward。

NAACL 的 Best Paper，ELMo：Deep contextualized word representations，類似的工作還有 ULMFiT，在 BERT 出來之前，利用 Pre-train 來改進 Word Embedding 作為輸入帶來的多義問題（引入上下文），效果也是很不錯的。

之前在知乎上看到有篇文章說到了 Chelsea Finn 的 PhD thesis，後來去看了一下她的幾篇文章，很有意思的就如代表作 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks，這篇文章不算 18 年的，但是 Meta-Learning 在 NLP 上的一些應用： Meta-Learning Multi-task Communication，NMT 上的嘗試 Meta-Learning for Low-Resource Neural Machine Translation，預測一下 19 年遷移學習會在 NLP 有更多的應用。

如果說最佳論文 那隻能有一個 就是bert

說幾個個人覺得值得關注的工作——

如果說最有影響力，肯定毫無疑問是證明瞭預訓練的語言模型在NLP任務上的巨大作用，大概不久以後不用bert或者elmo這些語言模型都發不了論文了吧…

另外覺得隨之帶火的transformer也值得關注。2019年才過去半個月，已經看到好幾家公司實習的小夥伴在說在嘗試改用transformer來提取特徵了。

另外幾篇無監督和半監督學習的論文都很不錯，acl上的phrase-based neural unsupervised machine translation 和 a robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings，以及emnlp上的semi-supervised sequence modeling with cross-view training。

還有就是幾個QA方面的數據集了吧，像TVQA和CoQA這些。

但best 10 papers of 2018就坐等大佬出來總結了。

雖說這個問題有點泛，愛爾蘭的Sebastian Ruder好像寫過一篇文章，說了一下，可以看一看

推薦閱讀：
相關文章