對抗特徵學習：教神經網路處理未見過的樣本

一、前言

在遷移學習領域，除了領域自適應Domain Adaptation（DA），還有一種情形叫領域泛化Domain Generalization（DG）。我們知道DA需要源域和目標域都有數據，甚至有些方法要求的數據量還很大。DG主要做的就是通過多個標註好的源域數據，學習一個通用的特徵表示，並希望該表示也能應用於未見過的相似樣本，即目標域數據，即使目標域一個數據都沒有。

二、簡介

本文介紹一篇南洋理工大學和港城大的工作[1]，作者是Haoliang Li、Sinno Jialin Pan、Shiqi Wang、Alex C. Kot。其中第二位作者想必大家也有一些了解，之前和楊強教授一起寫了遷移學習survey，是那篇survey的一作。該論文發表在CVPR2018上。

文章提出了一種新穎的機遇對抗自編碼器的框架，藉助於自編碼器的特徵提取能力，學習一個泛化的隱空間特徵表示。在隱空間中，利用MMD（最大均值差異）度量，將不同域的源域數據特徵分布，對齊到一起去。然後通過基於對抗的特徵學習，將對齊上的分布再與一個事先給定的先驗分布匹配上。此外，生成的隱空間特徵，還將被用於分類任務。最後變成一個多目標優化問題。

該方法與之前的方法不同之處就在於最後還得匹配一個先驗分布。之前完全靠數據驅動的方法可能有過擬合的問題。學習到的特徵表示，有了源域獨有的信息，這些信息不是一般化的特徵，會對網路在目標域上的表現不利。文章認為加上一個先驗分布，會減少特徵表示的過擬合風險。

自編碼器學習到的隱空間特徵分布必須滿足以下兩個性質：

所有源域的數據映射到特徵空間後，條件概率分布應該一致。
特徵分布應該包含能對學習分類器有用的判別信息。

文章用先驗分布滿足第一條，用同時訓練分類器滿足第二條。

三、方法

首先定義一些標記：

假設有K個標註好的源域，每個源域的數據是 $X_l=[x_{l_1},...,x_{l_{n_l}}]^ op$ ，，其中 $x_{l_i}inmathbb R^{d imes1}$ ，是第個源域的樣本數，數據對應的標籤是 $Y_l=[y_{l_1},...,y_{l_{n_l}}]^ op$ ，其中 $y_{l_i}in mathbb R^{m imes 1}$ 是one-hot編碼。