Progressive Learning for Person Re-Identification With One Example

1.2019年IEEE圖像處理會刊，悉尼科技大學博士生武宇（Yu Wu）

論文鏈接：https://yu-wu.net/pdf/TIP2019_One-Example-reID.pdf

2.背景

人物重識別任務近幾年出現了一些半監督、無監督的方法，很多半監督的學習關注於One Example Learning，這很好的降低了完全監督的方法需要標註信息帶來的標註成本。現有的One Example方法中往往採用靜態策略分配為標籤，即每一次迭代分配的偽標籤數量是固定不變的，但是模型在迭代開始時只有很少的帶標籤數據，隨著迭代的進行，模型變得更加魯棒，預測的偽標籤也更加準確，所以固定分配數量的方法會妨礙性能的提升。基於這一點，作者在他以往的工作：Exploit the Unknown Gradually: One-Shot Video-Based Person Re-Identification by Stepwise Learning(EUG)中提出了動態採樣策略進行改進，這篇文章是繼EUG這篇文章之後發表的一篇文章，並對其進行了改進。

3.本文的研究方法

作者提出了一種基於圖像的one-example人物重識別，對於每一個身份的訓練圖像，只有一個有標籤樣本，其餘都是無標籤的。在訓練的過程中採用動態漸進的方式給無標籤數據分配偽標籤，對於剩餘無標籤數據以其圖像索引分配索引標籤，因此訓練數據包括三部分：有標籤數據，偽標籤數據和索引標籤數據。

主要的突破點：

• 不同與EUC，對於每個身份，訓練數據只有一個圖形，而不是一個蹤跡。
• 聯合學習的方式，對標籤數據、偽標籤數據和索引標籤數據同時訓練。
• 因為初始模型不可靠，提出以自我監督的方式利用未標記數據來學習穩健的模型。
• 初始迭代時大量數據沒有分配標籤，但是這些數據也保留了有用信息，所以對於未分配的數據分配索引標籤，然後使用exclusive loss來學習每個樣本的區分性和多樣性。
• 在標籤估計中應用基於距離的採樣標準，並應用候選人選擇以顯著提高標籤估計的性能。未標記數據與其最近標記鄰居之間的距離被認為是dissimilarity cost，它是偽標籤的可靠性度量，候選者選擇則根據他們的標籤估計置信度選擇一些最可靠的偽標記數據。

4.本文方法詳細介紹

Framework Overview

• 本文的方法是以下兩個步驟的迭代：首先，通過對標記數據，偽標記數據和索引標記數據的聯合學習來訓練CNN模型; 然後，根據進行標籤估計，按照候選人選擇的標準選出一些可靠的偽標籤候選者。
• 具體而言就是，第一次迭代時沒有偽標籤數據，隨著訓練的進行，不斷擴大所選擇的偽標籤候選集，並使用數據索引標記剩餘的為標記數據作為索引標籤數據。然後，採用聯合學習在標籤數據、偽標籤數據和索引標籤數據上學習一個穩健的模型，在下一次迭代時，將最近標記鄰居的身份標籤分配給偽標籤候選者，之後迭代訓練。

Preliminaries

x是圖像的視覺信息，y是圖像的標籤；標籤數據 和無標籤數據；Re-ID模型 ；檢索數據 ，圖庫數據 ；偽標籤 ，偽標籤數據集 ，索引標籤數據集 。

The Joint Learning Method

• 利用 和數據集使用標籤，採用交叉熵損失來優化學習Re-ID模型；數據集因為沒有可用的偽標籤，為了學習圖像的多樣性和提高模型的判別性，使用Exclusive Loss來推遠各個樣本進行優化。
• The Joint Objective Function， 和數據集使用交叉熵損失學習。標籤數據訓練的目標函數是：

其中 是一個 參數化的標識分類器，將嵌入特徵 分類為k維信度估計。類似的，偽標籤數據訓練的目標函數是：

其中需要注意的是， 是一個選擇標識，用來標識無標籤數據 是否選為偽標籤數據集。

• The Exclusive Loss，對於沒有身份的數據，不適用任何標籤信息學習其多樣性和判別性，而不是身份信息。推遠各個索引標籤數據。

為了實現這個公式的有效性，作者提出了一個查找表 ，用來存放所有的索引標籤數據嵌入特徵的L2標準化特徵，最大化歐氏距離就等價於最小化餘弦相似性，所以使用softmax損失來近似優化：

其中，在前向傳播時，通過 來計算數據與所有索引標籤數據之間的餘弦相似度，在反向傳播時，通過來更新查找表。(這個思想在很多論文中出現)

• 模型第t次迭代的總體損失為：

The Effective Sampling Criterion

• 作者的思想是將特徵空間中的歐式距離作為偽標籤可靠性的度量標準。
• 使用最近鄰分類器NN，將特徵空間中最近標記的鄰居為每個未標記的數據分配偽標籤，然後計算他們之間的歐氏距離作為標籤的置信度(它們之間的dissimilarity cost)。

• 對於候選標籤選擇，根據置信度選擇最可靠的偽標籤數據。

其中， 是在t次迭代中選擇的偽標籤數據的數量。

The Overall Iteration Strategy

• 首先優化總體損失函數，然後通過計算歐式距離估計偽標籤，最後按照候選標籤選擇最可靠的標籤數據為偽標籤數據。
• 作者採用動態採樣策略，在第t次迭代時，通過設置 來擴大樣本偽標記數據的大小，其中p∈（0，1）表示迭代過程中擴大候選集速度的放大因子。
• 在每次迭代之後，在驗證集上評估Re-ID模型，並輸出最好的模型。

5.實驗結果

Comparison With the State-of-the-Art Methods

在四個數據集上做了實驗，並且設置了兩種baseline：one-example和supervised。

Ablation Studies

• The effectiveness of the joint learning method

研究聯合學習的有效性，D表示沒有使用dissimilarity cost，但是是在三個數據集上優化的；J表示沒有使用索引標籤數據，只用了標籤數據和為標籤數據，最後一行是本文採用的聯合學習方式。

• The effectiveness of the sampling criteria

從下圖以及上圖都可以看出來dissimilarity cost的作用以及p擴大因子的選擇對實驗結果的影響。

Algorithm Analysis

• Analysis over iterations：選擇最可靠的無標籤數據作為偽標籤數據。
• Analysis on the enlarging factor

控制在迭代期間放大偽標籤候選者的速度。由下圖可以看出，較小的放大因子總會產生更好的性能，這和人類視覺是一致的，每一次選擇更謹慎，獲得的效果就越好。

• Qualitative Analysis

作者將每一次迭代選擇的偽標籤圖像可視化出來，可以看出開始的時候選擇了與輸出樣本視覺上非常近的簡單樣本，隨著迭代進行，選擇的樣本更加多樣性，並且還出現了一些錯誤的樣本。

與在MARS數據集上先進的方法比較：通過注釋更多標記數據進行初始化，比較了不同比例的實驗結果。

與在Market-1501數據集上先進的方法比較：比較了不同標記數據比例的實驗結果。

6.參考筆記

https://blog.csdn.net/NGUever15/article/details/88930864

http://tongtianta.site/paper/40766

推薦閱讀：