來源：COLING 2018

原文：aclweb.org/anthology/C1

Introduction

句子壓縮會壓縮句子，同時保留其最重要的內容。 基於刪除的模型具有刪除冗餘單詞的能力，而基於生成的模型能夠對單詞進行重新排序。 本文提出了operation network，一種用於抽象句子壓縮的方法，它結合了基於刪除和基於生成的句子壓縮模型的優點。

模型有一系列operation構成：delete，copy，generate

給定源文本作為輸入：

1、首先刪除操作從源文本中刪除不必要的單詞，但保留重要內容。

2、摘要由複製和生成操作構成。複製操作直接從選定的源文本複製單詞，而生成操作會生成不在源文本中的單詞。

Task definition

Model

使用兩個不同的解碼器，一個用於刪除，另一個用於複製和生成。

1、delete decoder

輸入序列：X =（x1，x2，...，xn），輸出序列d =（d1 ，d2，...，dn），長度一致。

輸出序列d會作為copy-generate decoder的輸入

2、copy-generate decoder

解碼器狀態更新：

其中s是時間步長t的解碼器隱藏狀態，ct是上下文向量，e表示字嵌入表，yt-1是先前的解碼輸出。

使用switch network來決定是使用複製模式還是生成模式，判斷generate模式的概率：

輸出詞概率分佈：

這裡V『 有詞表V和source sentences中出現的片語成。

  • copy mode：

如果選擇了複製模式，則直接從源詞複製該單詞（由刪除解碼器過濾）。 我們使用注意分佈來對源詞進行採樣。 刪除解碼器的輸出用於修改注意分佈以過濾掉不需要的單詞。

在複製模式下，首先我們使用刪除解碼器d的輸出來重新規範注意力分佈αt：

  • generate mode

如果選擇生成模式，則從固定辭彙表生成單詞。

Loss

delete decoder和copy-generate decoder兩部分組成

  • delete decoder
  • copy-generate decoder

Experiments

數據集：MSR Abstractive Text Compression Dataset

deletion based：

對於源文本中的每個單詞，如果單詞存在於壓縮文本中或由對齊器對齊，則標記將保留。另一方面，如果單詞既不存在於壓縮文本中也不由對齊器對齊，則標記刪除。

copy/generate based：複製/生成操作序列與壓縮文本具有相同的長度。

對於壓縮文本中的每個單詞，如果單詞由對齊器對齊並且與對應單詞相同，則序列中相應的標記為copy。如果單詞未對齊或與對應單詞不相同，則序列中的相應標記設置為generate。

Conclusion

本文提出了Operation Network，一種用於生成式句子壓縮的神經方法，它結合了基於刪除和基於生成的句子壓縮的優點。

推薦閱讀：

相關文章