【私貨】特徵工程在深度學習的時代就應該被丟進歷史的垃圾桶嗎？
【私貨】特徵工程在深度學習的時代就應該被丟進歷史的垃圾桶嗎？
來自專欄深度學習筆記
20 人贊了文章
Evaluating the Utility of Hand-crafted Features in Sequence Labelling
這篇專欄主要介紹自己的文章，這篇文章是一篇short paper，被EMNLP 2018接收。
特徵工程，在深度學習的時代就應該被丟進歷史的垃圾桶嗎？答案當然是否定的。
分水嶺出現在2010年前後，之前的機器學習+特徵工程，逐漸被自動提取特徵的端到端的深度學習所取代。因為機器學習和特徵工程是分步優化，多個局部最優無法保證得到全局最優，但是深度學習模型是針對一個目標，進行整體優化，更容易得到全局最優。
但是要想讓深度學習模型充分提取優質特徵，往往又需要大量的數據，現實中標註數據往往又比較昂貴且質量沒有保證，尤其是對於自然語言處理的問題來說。
深度學習時代，就用深度學習的方式來做特徵工程！
我們的工作，利用了Auto-Encoder來做特徵工程——把Auto-Encoder嵌入到了端到端的模型中。
在訓練階段，在手動提取了特徵之後，輸入到深度學習Encoder中，在輸出端又重建特徵並計算損失函數做反向傳播。
在預測階段，只將手動提取特徵輸入到Encoder中，但不重建特徵。
我們的工作以命名實體識別為例，展示了Auto-Encoder的作用。
我們以Bi-LSTM-CNN-CRF為baseline，選取了POS tags、Word Shapes、Gazetteers作為特徵，在CoNLL 2003這樣一個F-score提高0.01%都能發ACL的數據集上，把baseline的F-score提高了0.7%
細節看paper吧。
推薦閱讀：
