半監督文本分類的對抗訓練方法

題目：

Adversarial Training Methods for Semi-Supervised Text Classification

作者：

Takeru Miyato, Andrew M. Dai, Ian Goodfellow

來源：

Published as a conference paper at ICLR 2017

Machine Learning (cs.LG)

Submitted on 25 May 2016

文檔鏈接：

arXiv:1605.07725

代碼鏈接：

https://github.com/tensorflow/models/tree/master/research/adversarial_text

https://github.com/TobiasLee/Text-Classification

摘要

對抗性訓練提供了一種正則化監督學習演算法的方法，而虛擬對抗性訓練能夠將監督學習演算法擴展到半監督設置。然而，這兩種方法都需要對輸入向量的大量條目進行小擾動，這對於稀疏的高維輸入(如一個熱詞表示)是不合適的。我們將對抗性訓練和虛擬對抗性訓練擴展到文本領域，方法是將擾動應用於一個遞歸神經網路中的單詞嵌入，而不是應用於原始輸入本身。該方法在多個基準半監督和純監督任務上均取得了較好的效果。我們提供了可視化和分析，表明學習的單詞嵌入在質量上得到了提高，並且在訓練時，模型不太容易過度擬合。

英文原文

Adversarial training provides a means of regularizing supervised learning algorithms while virtual adversarial training is able to extend supervised learning algorithms to the semi-supervised setting. However, both methods require making small perturbations to numerous entries of the input vector, which is inappropriate for sparse high-dimensional inputs such as one-hot word representations. We extend adversarial and virtual adversarial training to the text domain by applying perturbations to the word embeddings in a recurrent neural network rather than to the original input itself. The proposed method achieves state of the art results on multiple benchmark semi-supervised and purely supervised tasks. We provide visualizations and analysis showing that the learned word embeddings have improved in quality and that while training, the model is less prone to overfitting.

要點

我們的研究表明，Dai & Le(2015)提出的基於神經語言模型無監督預訓練的方法，在多個半監督文本分類任務(包括情感分類和主題分類)上取得了最先進的性能。我們強調，只有一個額外的超參數ε的，最優化，即限制對抗性擾動大小的範數約束，實現了這種最先進的性能。這些結果強烈鼓勵將我們提出的方法用於其他文本分類任務。我們認為文本分類是半監督學習的理想設置，因為有大量的未標記語料庫可供半監督學習演算法利用。這項工作是我們所知道的第一個使用對抗性和虛擬對抗性訓練來改進文本或RNN模型的工作。通過對訓練模型的分析，定性地描述了對抗訓練和虛擬對抗訓練的效果。我們發現，對抗性訓練和虛擬對抗性訓練在基本方法的基礎上改進了單詞嵌入。