R Talk | 曠視南京研究院魏秀參：細粒度圖像分析綜述
「R Talk 」是曠視推出的一個深度學習專欄，將通過不定期的推送展示曠視科技的學術分享及階段性技術成果。「R」是 Research 的縮寫，也是曠視研究院的內部代號；而所有的「Talk」都是來自曠視的 Researcher。「R Talk 」旨在通過一場場精彩紛呈的深度學習分享，拋磚引玉，推陳出新，推動中國乃至全球領域深度學習技術的大發展。
第 4 期 R Talk 主題是細粒度級別圖像分析領域的現狀與展望，講述者是曠視科技南京研究院負責人魏秀參博士；主要內容包含 5 個方面：
1）簡單介紹細粒度圖像分析領域；
2）細粒度圖像檢索現狀；
3）細粒度圖像識別現狀；
4）細粒度圖像分析相關的其他計算機視覺任務；
5）細粒度圖像分析發展展望。
附1：視頻鏈接
《細粒度級別圖像分析領域的現狀與展望》視頻介紹
在傳統計算機視覺研究中，圖像分析通常是針對諸如「狗」「車」和「鳥」等傳統意義類別上的分類、檢索。而在許多實際應用中，圖像對象往往來自某一傳統類別下較細粒度級別的不同子類類別，如不同種類的「狗」——哈士奇、阿拉斯加、比熊等；或不同種類的「車」——奧迪、寶馬、賓士等。
細粒度級別圖像分析是針對此類問題的一項計算機視覺領域熱門研究課題，其目標是對上述細粒度級別圖像中的物體子類進行定位、識別及檢索等若干視覺分析任務的研究，具有真實場景下廣泛的應用價值。然而因細粒度級別子類別間較小的類間差異和較大的類內差異，使其區別於傳統圖像分析問題成為更具挑戰的研究課題。
現實世界中有非常普遍的細粒度圖像分析任務。比如美國大自然保護協會曾在kaggle舉辦的、針對捕魚業中海船上若干種魚類的細粒度分類，甚至還有根據鯨魚尾部進行個體級別的更加細粒度的識別任務。此外，還有針對植物樹葉的細粒度識別， 城市管理場景中對過往車輛的細粒度分析， 新零售場景中商品識別的細粒度識別和檢索等等。
解決細粒度圖像分析的一個關鍵是找到細粒度物體的Keypoints，利用這些關鍵部位的不同，進行針對性的細粒度分析，如檢索、識別等。目前，細粒度圖像分析領域的經典基準數據集包括：
- 鳥類數據集CUB200-2011，11788張圖像，200個細粒度分類
- 狗類數據集Stanford Dogs，20580張圖像，120個細粒度分類
- 花類數據集Oxford Flowers，8189張圖像，102個細粒度分類
- 飛機數據集Aircrafts，10200張圖像，100個細粒度分類
- 汽車數據集Stanford Cars，16185張圖像，196個細粒度分類
細粒度圖像分析一直是一個火熱的計算機視覺研究方向。每年計算機視覺頂級會議如CVPR、ICCV、ECCV、IJCAI以及頂級期刊如TPAMI、IJCV、TIP等都有大量相關論文出現。此外，圍繞這一方向還頻繁舉辦相關Workshop和挑戰賽，比如Workshop on Fine-Grained Visual Categorization、The Nature Conservancy Fisheries Monitoring、iFood Classification Challenge等。在細粒度圖像分析領域，一些國際頂尖的研究機構，如斯坦福大學、加州伯克利、牛津大學皆是細粒度研究的科研重鎮。
細粒度圖像分析一般有兩個核心任務，一是細粒度圖像檢索，二是細粒度圖像識別。下面將分別進行重點介紹。
細粒度圖像分析之圖像檢索
傳統圖像檢索與細粒度圖像檢索
一般來說，圖像檢索包含了以文字搜圖、以圖搜圖這兩個搜索場景。這裡著重討論以圖搜圖，它也被稱為Content Based Image Retrieval（CBIR）。
傳統CBIR的通用流程是：先對輸入圖像進行特徵提取，得到特徵向量，進而將若干這樣的特徵向量組合成一個數據集。當進行到圖像檢索的過程後，同樣，先對Query圖像進行特徵提取，然後將這個向量與之前收集到的數據集中的圖像進行最鄰近匹配，這樣便可以從數據集中找到與Query圖像相似的圖像。
儘管圖像檢索這個領域到目前為止已有長足進步，但是它們大多都針對的是通用物體，比如在一些變化不會特別大的剛體之間搜索，如不同角度、光照下拍攝的埃菲爾鐵塔、一些建築物等等。
如果將這些系統用於更精細的場景，那麼上述方法便顯得力不從心了，如給定一隻鳥的照片，讓系統在兩百多隻各類鳥中找出同類的鳥。下圖展示了細粒度圖像檢索與傳統圖像檢索之間的差別。
顯然，細粒度圖像檢索麵對的問題比傳統圖像檢索更加複雜，檢索對象所處的環境背景變化、姿態變化以及scale變化都更為明顯。因此，研究人員需要尋求新的方法來完成細粒度圖像檢索任務。
細粒度圖像檢索之SCDA
對於傳統圖像檢索來說，只要讓系統對圖像的特徵值進行對比，便可以得出結果，其中不存在任何的監督信息。然而對於細粒度圖像檢索而言，研究人員第一步需要通過無監督的方法將輸入圖像中的主要信息定位出來，從而防止背景或圖像中雜訊區域的幹擾。
在深入到具體模型之前，先介紹涉及到的重要Notation。
當輸入圖像進入預訓練的CNN模型之後，可以得到一個卷積激活tensor。需要說明的是，這裡使用的預訓練的分類模型，只見過圖像級別的標註，沒有見過諸如邊界框這樣關於位置的標註信息。
- 特徵圖（Feature map）：在得到卷積激活tensor之後，每一個 h×w 的map就是一個特徵圖，這也被稱為一個通道（channel）。
- 深度描述子（Descriptor）：在得到卷積激活tensor之後，可以得到 h×w 個 d 維的向量，這裡把這樣的一個 d 維的向量稱為深度描述子（Descriptor）。它描述的是原圖中對應的小patch的信息。
在對每一個channel進行可視化研究的過程中，研究人員發現了兩個現象：
（1）對於不同鳥類而言，同一channel的激活情況可能大不一樣。之所以會出現這一現象，其原因或許與深度學習的分散式表徵本質有關。
（2）對於同一鳥類而言，不同channel所激活的部位大不相同，有的激活部位與鳥有關，有的則無關。
因此從上面的觀察能看到，使用全部channel或許會引入雜訊，而僅使用某個channel來定位主要物體也是不理想的。於是，研究人員決定把得到的所有特徵圖從深度方向進行加和，從而得到一個2D的激活圖。需要說明的是，這裡進行的加和操作依據瞭如下假設，即如果主要物體出現在了圖中，那絕大多數channel都應該在主要物體出現的位置產生激活。因此，如果加和的部分大於其均值，那麼系統便會判定這裡可能是目標物體出現的空間。
依據這種無監督定位的方法，系統已經可以初步將目標物體從背景中分離出來。不足的是有一些背景或雜訊信息也被標記了出來。對此，研究者利用了flood-fill的演算法保留主體的定位結果，而較小區域的雜訊或背景則被摒棄。
之後，研究人員基於無監督定位的結果，保留了有效的深度描述子，同時去除背景或雜訊區域深度描述子的幹擾，接著對保留下來的描述子進行了融合。在進行融合操作時，研究人員嘗試了下圖中的三種方法。
通過將這三種方法在兩個benchmark數據集（CUB200-2011、Stanford Dogs）上進行對比實驗，研究人員發現，將avgPool和maxPool進行級聯可以獲得最佳性能。這種經過級聯篩選以後得到的特徵被稱為SCDA。
從結果來看，系統現在基本上可以準確地定位物體。
以下是一些定性比較結果，通過將演算法無監督定位的結果與ground truth相比，可以發現，二者基本重合，模型的效果比較理想。
此外，研究人員還對SCDA方法進行了加強。
最終測試結果顯示，SCDA方法與其強化方法SCDA+、SCDA_flip+在性能上都超越了現有的所有模型。
當研究人員使用3種後處理方法（PCA、SVD、SVD+whitening）對SCDA_flip+進行進一步加強（256維），它甚至可以拿到比4096維更高的性能表現。
細粒度圖像檢索之DDT
在上述提到的SCDA方法中，對於每張圖而言，都有一個自適應的threshold來對每張圖中的物體進行定位。而在真正進行物體定位的時候，人們拿到的往往可能是一批圖像，而不是單張。所以我們自然的會希望藉助整個圖像集合的信息，也就是圖像與圖像之間的協同信息來做好物體定位。這便對應到了計算機視覺領域的另一個基礎研究課題——物體協同定位 Object Co-Localization。在物體協同定位中，我們唯一依靠的信息是「這個集合中的圖像都有某個共同物體」，對於「共同物體」到底是什麼，甚至都不需要知道。
在協同定位的場景下，人們期望藉助整個圖像集合中所有圖像之間關係的信息，由此做好物體的定位。研究人員提出了一個DDT（Deep Descriptor Transforming）方法。與SCDA方法類似，在DDT方法中，屬於同樣語義的圖像一開始會被送入一個預訓練的CNN分類網路，得到對應的一些tensors。
對於這些tensors，研究人員需要衡量的是其中每一個描述子的相關程度。其實我們需要的僅僅是一個映射函數：將深度描述子從自身空間映射到一個新空間。在新空間中可方便衡量深度描述子的相關程度。如果結果呈現正相關，那表示這些描述子具有跨圖像的物體描述效果，如果負相關，那麼說明這些描述子只和某一張圖像相關，不具備通用的描述效果。顯然，在DDT的方法中，threshold天然為一個定值：0。
為了實現這一映射目標，研究人員使用了PCA矩陣分解技術，即通過一組正交變換，將一組可能存在相關性的變數轉換成一組線性不相關的變數。
需要注意的是，這裡僅僅需要PCA的第一維，將這一維當作映射函數。通過這種方法，每一個d維的深度描述子就可以轉化到一個新空間，這個新空間的維度僅僅為1。在該空間中，我們就可以用映射後得到的score衡量描述子之間的相關程度了。
因此，在DDT方法下，系統可以根據多張圖片的協同信息，將物體定位出來。另外，由於PCA本身具有去噪的效果，所以它可以很好的剔除掉不相關的雜訊圖片。以下圖為例，飛機內部雖然與飛機本身的語義相關，但在圖像上該它並沒有出現飛機的任何外貌特徵，所以對應於這張圖的indicator matrix全為負值，即表示這張圖屬於雜訊信息，需要被剔除掉。
DDT與SCDA性能對比
根據下方對比圖可以發現，由於SCDA只是從單張圖像拿到信息並進行無監督物體定位，因此它有可能將我們不關心的類也標註出來。而對DDT方法而言，由於它是從多張圖片中協同獲取信息，所以它能夠精確的定位出我們關心的物體位置。
研究人員將兩個模型在4個數據集上進行了效果對比。
前三個數據集的測試結果顯示，DDT方法顯著超越之前的所有方法。
對於ImageNet而言，比較特殊，因為DDT模型使用了基於ImageNet預訓練的CNN模型，所以為了觀察模型的泛化能力，就必須選擇不包含在ImageNet那1000類中的物體類作為測試集。於是研究人員選擇了6個不屬於ImageNet的類來測試DDT的協同定位效果。結果顯示，在面對這些未見過的類別時，DDT演算法顯著好於其它所有演算法。
下圖展示了可視化的結果。
細粒度圖像分析之圖像識別
Mask-CNN細粒度圖像識別基本思想
細粒度圖像識別也可以被稱為細粒度圖像分類。在進行細粒度分類時，研究人員借用了做圖像檢索時的思想，即「定位主要物體，去掉無效描述子（describetor）」。後續實驗可證實，基於深度描述子篩選的思想不僅有利於細粒度圖像檢索，對細粒度圖像識別同樣大有裨益。
具體而言，研究人員通過對分析對象添加keypoints，進而生成keyparts，從而生成有關ground truth的邊界框。
然後，研究人員用生成的邊界框來訓練一個分割網路，學習針對物體的mask。
進一步，研究人員根據習得的mask，生成了對應物體整體、頭部、身體的三個網路。他們在這些網路的最後一層卷積tensor上進行對應的深度描述子篩選與融合。最後，通過將融合的結果進行級聯，研究人員便可以讓模型做最後的細粒度識別任務。
這種細粒度識別方法也超越了當時同類的所有模型。
有關細粒度圖像分析的真實應用
應用1：RNN-HA車輛細粒度識別模型
對於車輛的細粒度識別而言，難度較大。因為往往同類車輛之間的差異十分微小，比如對於下圖的兩輛奧迪A6來說，其外貌完全一樣，不同之處可能僅僅在於其之上的年檢標誌，或者是車內某些小裝飾。
面對這個難題，研究人員從人類識別的認知邏輯出發，嘗試找到突破口。他們發現當人類在進行車輛細粒度識別時，經歷了兩個過程：判斷車型→同種車型精細對比。
在這個思路的啟發下，研究人員設計了RNN-HA模型。
在上述模型中可以看到，獲取輸入圖像信息以後，一個CNN網路將首先對圖像進行特徵抽取，得到一個卷積tensor。
隨後，在step1階段，模型先對車型進行分類（即圖中右側所示的Model-level）。我們可以把這看作一個初步的細粒度識別過程。
當車型分類完成以後，模型會首先對輸出結果做一個Transformer net的變換，生成一個注意力模型，然後纔在Step2中，根據得到的注意力嵌入向量判斷應該在同樣的物體類別（如都是奧迪A6）中觀察哪些地方，從而才能將同屬這個類別的車輛分開。
研究人員將該模型在兩個權威的數據集VeRi（50, 000 張圖，776種車輛）、VehichleID（221, 763張圖，26267輛車）上進行了實驗。結果顯示，在這兩個數據集上RNN-HA都超越了當前最優的方法。
下圖展示了車輛細粒度識別的部分可視化效果。可以看到，系統準確抓住了車輛上細微的區分標識（裝飾物、年檢標識等）。
應用2：新零售場景下的自動商品結算
零售業是人力密集型行業，其中收銀結算佔有相當高的成本。隨著深度學習發展，藉助圖像識別技術實現零售行業的降本增效已是大勢所趨。自動收銀結算（Automatic Check-Out/ACO）是其中的核心場景，旨在根據收銀場景圖像生成結算清單，並與計算機視覺技術的融合不斷加深。
CV 技術+場景，從來不是一條坦途。從圖像識別角度講，ACO 的落地布滿荊棘，其中既有來自數據本身的問題，也有模型訓練的因素，最後可歸結為 4 個方面： 1）large-scale，2）fine-grained，3） few-shot 和 4）cross-domain。
儘管存在上述問題，ACO 還是有著潛在的研究與商業價值。如果有標註精良的數據集，這一問題或可迎刃而解。為此，研究人員打造了一個目前最大的商品識別數據集——RPC（Retail Product Checkout），來推動新零售自動收銀場景的相關研究和技術進步，它的商品種類高達 200，圖像總量達 83k，真實模擬零售場景，且逼真度超過現有同類數據集，同時充分體現出 ACO 問題的細粒度特性。從下圖可以看到，對於同一個大類的商品而言，其子類的商品差異度並不大，所以這是一個天然的細粒度識別問題。
需要說明的是，這裡的RPC數據集在商品種類和圖像數量上都遠超現有的同類數據集。
在進行具體的商品數據收集之前，研究人員首先對商品在結算時的擺放模式進行了分級，分為「簡單」、「中等」、「困難」三種模式。
在收集商品的圖像數據過程中，研究人員將單個商品置於一個旋轉的檯面，拍下其各方位的圖像。該過程模擬了真實商店進行商品錄入的過程。
研究人員期望，基於這些單品示意圖，開發出能夠在上述3種商品擺放模式中準確識別商品種類並計數的模型。
另外，研究人員也為每一個結算圖像分別添加了三種不同強度的監督標籤，從弱到強，最強的是邊界框，其次是點，最弱的是僅僅給出圖中出現的購物單。
基於「單品圖作訓練、結算圖作測試」的思想，研究人員提出了一個baseline方法。具體而言分為三步，先通過Saliency detection和CRF將商品從原始數據中摳出來。
然後利用自動合成方法，將這些商品圖像直接在結算背景上進行組合。自然地，合成系統也可以為商品加上邊界框。
由於這樣合成的結果不夠真實，所以研究人員在第三步使用了渲染方法，把合成圖轉換成接近真實的圖像。
最後，研究人員用渲染以後的圖片來訓練detector。
從baseline的結果來看，雖然detection任務做得很好，但是就ACO任務最關心的整單正確率（cAcc）來說，還有非常大的提升空間，這也鼓勵更多相關研究人員來進一步設計新的視覺演算法來解決這一問題。
細粒度圖像分析發展展望
少量樣本細粒度圖像識別
目前所有細粒度圖像識別任務均需藉助大量、甚至海量的標註數據。對於細粒度圖像而言，其圖像收集和標註成本巨大。如此便限制了細粒度研究相關的發展及其在現實場景下的應用。反觀人類，我們則具備在極少監督信息的條件下學習新概念的能力，例如，對於一個普通成年人可僅藉助幾張圖像便學會識別鳥類的一個新物種。為了使細粒度級別圖像識別模型也能像人類一樣擁有少量訓練樣本下的學習能力，研究人員提出並研究了細粒度級別圖像識別的少量樣本學習任務。
所謂少量樣本細粒度識別，即通過讓系統在少量樣本上學習，從而在測試數據上達到較好的細粒度識別效果。以下圖為例，整個灰色區域被稱為一個「episode」，類似於傳統深度學習的一個batch。系統通過在名為「1」、「2」兩隻鳥的訓練數據上進行訓練，進而對後面的evaluation data展開識別。
在模型的訓練過程中，研究人員設計了一種Meta-learning的fashion。他們藉助一個輔助數據集進行類別與圖像的採樣，並希望以這種方法來模仿測試集上真正要執行的任務。基於這個輔助數據集，研究人員構造出了若干類似於上圖中測試數據的episode。系統通過對每個episode的樣本進行學習，可以得到一些分類器或者是特徵向量，進而可以在evaluation data上產生loss。藉助這種方法，系統可以學習到一個在測試數據集上泛化能力較好的網路。
就具體的學習策略而言，研究人員希望系統直接根據輸入圖像學習到一個映射，映射的對象就是這個輸入圖像所屬類別的分類器（classifier）。當系統學習到classifier以後，便可以對evalutation data進行分類。
在FSFG框架中，研究人員首先提出了一個基於Bilinear CNN的方法，通過它，系統可以隱性的學到輸入圖像的一些part信息，進一步，這些part所對應的sub-vector可能就與物體細粒度層面的一些keyparts相關。
隨後，研究人員分別對這些sub-vector進行分段映射，分段映射所對應的便是那些子分類器（sub-classifier）。通過將這些子分類器進行級聯，系統可以學到有關整個物體的分類器。
最後，研究人員將習得的模型在3個主流的細粒度圖像數據集（CUB Birds、Stanford Dogs、Stanford Cars）上進行了性能驗證，發現其達到了目前最先進的水平。
附1：往期R Talk回顧
R Talk | 曠視科技目標檢測概述：Beyond RetinaNet and Mask R-CNN
R Talk | 曠視科技首席科學家孫劍：如何打造雲、端、芯上的視覺計算R Talk | 曠視科技姚聰博士：深度學習時代的文字檢測與識別技術---------解讀者介紹-------
魏秀參，博士，曠視科技南京研究院負責人，南京大學學生創業導師。主要研究領域為計算機視覺和機器學習，在相關領域頂級期刊如IEEE TPAMI、IEEE TIP、IEEE TNNLS、Machine Learning Journal等及頂級會議如ICCV、IJCAI、ICDM、ACCV等發表論文十餘篇，並獲得國際計算機視覺競賽冠、亞軍各一次。著有《解析深度學習——卷積神經網路原理與視覺實踐》一書。曾獲CVPR 2017最佳審稿人、南京大學博士生校長特別獎學金等榮譽，擔任ICCV、CVPR、ECCV、NIPS、IJCAI、AAAI等國際會議PC member。
推薦閱讀：
