最近在使用Keras和Pytorch處理時間序列數據，在變長數據的輸入處理上踩了很多坑。一般的通用做法都需要先將一個batch中的所有序列padding到同一長度，然後需要在網路訓練時屏蔽掉padding的值。在pytorch和keras中都有各自對padding值的處理，簡單做一下總結。

Keras

  1. 使用Masking層

Keras中自帶的屏蔽padding值的方式，在網路結構比較簡單時使用很方便。

model = Sequential()
model.add(Masking(mask_value=0., input_shape=(timesteps, features)))
model.add(LSTM(32))

缺點是一些層（Conv1D、Global mean pooling或用戶自己實現的層）不支持Masking機制，導致無法compile模型。

2. 添加Masking支持

既然Keras原生的層不支持Masking機制，我們可以重新復現該層，並使其支持Masking。

具體需要繼承keras.layers.Layer類，在實現時設置self.supports_masking =True，並實現並修改compute_mask和compute_output_shape函數，使其支持Mask的傳遞。

具體可以參考github.com/CyberZHG/ker中是如何在Attention中實現Mask支持的

3. 使用keras-trans-mask

無意中發現了這個工具，具體效果沒試過，但是看介紹使用起來還比較方便。

Pytorch

  1. pack sequence

同樣是Pytorch中標準的處理變長輸入的操作，常規步驟是pad_sequence -> pack_padded_sequence -> RNN -> pad_packed_sequence

具體可以參考這個回答，對各個函數解釋的很詳細。

尹相楠：PyTorch 訓練 RNN 時，序列長度不固定怎麼辦？?

zhuanlan.zhihu.com圖標

然而這種方法存在缺點，即如果我們要對RNN內部的運算進行修改時（如自己實現LSTM或GRU），就沒辦法直接使用pack操作了，這時候就需要用到下面的方法

2. 重新實現AutogradRNN，加入pack支持

類似於Keras，我們同樣可以自定義RNN，使其支持pack_padded_sequence輸入。然而這一操作過於複雜，需要從AutogradRNN開始重構。

根據官方論壇和github上的issue，目前還沒有辦法靈活地自定義RNNCell（似乎自定義的RNNCell訓練慢也與此有關，現在的官方RNN實現和Cudnn耦合程度過高）。

因為這個方法太過複雜，所以我並沒有仔細研究，有興趣的可以自己參考下面代碼實現。

https://github.com/huggingface/torchMoji/blob/master/torchmoji/lstm.py?

github.com

通用方法

  1. 按長度劃分Batch

既然問題出在同一個batch中序列長度不一致，那麼按照序列長度劃分batch就沒有這一問題了。然而這一方法存在一些缺點/隱患：

  • batch大小不一致，一些batch中樣本過少，導致訓練很慢
  • 劃分訓練集/驗證集很麻煩，尤其是K折交叉驗證
  • 可能會導致batch之間樣本分佈不一致，會產生performance上的微妙影響

最後一條我也不是特別確定，只不過在實驗時發現了可能會出現這一問題，歡迎大佬解釋。

2. 手動屏蔽loss

無論是Masking層還是Pack sequence，本質上都是防止padding操作產生錯誤的梯度影響網路訓練，那麼我們只需在計算損失函數時將padding對應的timestep輸出和target均置0即可。

個人理解pytorch中的pack sequence操作只是為了提升計算效率，真正屏蔽padding仍然需要在最後計算損失函數時將對應的timestep梯度置0。

以上就是對Keras和Pytorch中處理RNN變長序列輸入的方法總結，希望能對他人有所幫助。如果有哪些地方我的理解有誤，請及時糾正。


推薦閱讀：
相關文章