如何評價 ICCV 2019 的論文接收結果？有哪些亮點論文？
接受率25%，1000+收錄，喜大普奔～
人在ICCV 2019，剛從韓國首爾離開。
說兩篇有意思的論文吧，來自一個中國小哥，都是關於「衣服」的研究。
一篇教人穿衣服，另一篇給人換衣服。
比脫衣服的研究難多了，而且頗具商業價值。【doge
第一篇教人穿衣服：FiNet模型
這篇論文題目為Compatible and Diverse Fashion Image Inpainting，還被接收為Oral論文（接受率僅4.6%），研究方向是時裝搭配。
研究到了這個程度，只是簡單地將輸入圖像中缺失的時尚單品補全已經不夠用了。
想要突出還要注重整體搭配的協調性與真實性。
在這個過程中，最棘手的一個問題是，如何在耦合形狀和外觀時，妥善處理衣服的邊界。
這也是同類模型效果不如人意，且無法商業化的關鍵點之一。
這個論文中，作者提出了一個名為FiNet的模型，基於兩階段的變分自編碼器的生成網路，在滿足多樣性和兼容性的條件下，來填充圖像中缺失的時尚商品。
核心思路是，分別用形狀生成網路和外觀生成網路，來依次生成缺失衣服的形狀和外觀。
從而使FiNet可以在目標區域中修復出具有不同形狀和外觀的服裝。
為了保證兼容性，作者也在其中集成了一個兼容性模塊，將兼容性信息編碼到網路中，來保證讓生成衣服的形狀和外觀都是和其他衣服是兼容搭配的。
如此研究，應用場景也頗為廣泛。
從用戶的角度來說，在不知道穿什麼衣服出門的時候，可以讓計算機模型自動生成搭配的潮流服裝。
而商家，則是可以將這一技術，應用到時裝設計和新時尚商品推薦等應用中，來更好的實現商業購買轉化，進一步激發用戶的消費力。
那效果如何呢？在論文中，作者給出的效果是這樣的：
直觀來看，與Pix2Pix+noise、BicyleGAN、VUNET、ClothNet等方法相比，效果比較好。
從實際應用的角度來分析，FiNet模型的結果，也相對更接近落地一些。
論文地址：
FiNet:Compatible and Diverse Fashion Image Inpainting
https://arxiv.org/abs/1902.01096v2第二篇：給人換衣服，ClothFlow模型
這篇論文名為ClothFlow: A Flow-Based Model for Clothed Person Generation，研究主題也是衣服生成。
但與FiNet模型比起來，這篇論文的實現方式與應用方向都有很大不同。
ClothFlow是一個基於外觀流的衣服生成模型。
主要用於將一個圖片中的服裝渲染到另外一張圖片上，其想要實現的效果是這樣的：
具體的實現方式，是使用一個級聯的特徵金字塔網路，估算源服裝區域和目標服裝區域的幾何變換，然後通過多個基於編碼器-解碼器的生成網路來實現「衣服遷移」。
在論文中，作者也多次提到了這一研究的應用場景——虛擬試衣等服裝相關應用。
尤其是在直播場景中，有不少的想像空間。
這一技術成熟後，主播可以虛擬換裝，省去買衣服的成本和換衣服的時間。
而且， 用戶也可以根據自己的喜好給主播選穿什麼樣的衣服。
論文地址：
ClothFlow: A Flow-Based Model for Clothed Person Generation
http://openaccess.thecvf.com/content_ICCV_2019/papers/Han_ClothFlow_A_Flow-Based_Model_for_Clothed_Person_Generation_ICCV_2019_paper.pdf作者
最後簡單介紹下論文作者吧。
主題相近、方法不同的兩篇入會論文，一作都是一位叫韓欣彤的小哥。
隨手查了下履歷：
上海交大本科、馬里蘭大學帕克分校博士。
2018年進入工業界，先在創業公司碼隆科技任職演算法研究員。
最新已被挖到虎牙，是中國直播一哥公司的計算機視覺Tech Lead。
他說，接下來還是會持續關注直播內容生成方向，比如人臉和人體的驅動和生成。
韓欣彤很年輕，但已經在CVPR，ICCV，ECCV等頂級會議發表了近十篇論文。
而且據他自己介紹，是上海交大本科三年級時才真正接觸計算機視覺，至今7年。
所以也是真正找到了興趣和擅長，也趕上了時代潮流。
我們問虎牙，這次韓欣彤博士穿衣服、換衣服的研究，會跟他現在在虎牙的工作進一步相關起來嗎？
比如——一個大膽而規矩的想法，在直播中給主播虛擬換裝，或者讓用戶給主播換衣服。
他們沒給直接肯定的答案。
不過也雲山霧罩透露：在學在產，虎牙的技術研發都不會僅僅存在於論文中，也會進一步進入到平台業務中。
所以，就說你們這些搞技術研究的，贊得很。（大誤）
謝邀，一句話總結：3x3卷積+1x3卷積+3x1卷積==沒有推理開銷，卻能提升性能！白給的性能，白給的你能不要嘛！不需要改變架構，不需要複雜的實現，連調參都不用（這篇paper沒有引入任何超參，只要把每個3x3卷積層換成這個模塊就好了）。這一技術已經在某大公司的真實商業產品中得到了應用，切實提高了業務性能。
paper標題：ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks
開源地址：https://github.com/DingXiaoH/ACNet
paper地址：http://openaccess.thecvf.com/content_ICCV_2019/papers/Ding_ACNet_Strengthening_the_Kernel_Skeletons_for_Powerful_CNN_via_Asymmetric_ICCV_2019_paper.pdf
我們這篇paper搞的是一個新型的卷積模塊，可以用來替代卷積網路中常規的卷積層。
好處：沒有開銷代價，白賺性能，把你的性能開銷曲線垂直上移！因為這個模塊在訓練的時候參數較多，但是在訓練完成後可以通過簡單的線性變換，等價轉換成一個常規的卷積層。畢竟我們更在意的是我們的網路部署時候的效率和性能，訓練的時候多訓一會就多訓一會嘛（訓練開銷大概能多40%），反正我們有的是GPU（滑稽）。PyTorch實現版本在CIFAR-10上的性能提升如下。
原理：其實原理非常簡單。如果你在3x3卷積旁邊加上1x3和3x1卷積層，在同樣的輸入上並行地做3x3, 1x3和3x1卷積，然後將三路的輸出加起來，這個過程在數學上等價於，先將1x3和3x1的卷積核加到3x3上得到一個新的卷積核（設想一下，把一個十字形的補丁給「釘」到3x3卷積核的中間，也就是我們說的kernel skeleton），然後用這個卷積核在同樣的輸入上進行卷積。注意，由於1x3和3x1卷積核是data-independent的，這個變換可以在訓練完成後一步完成，從此以後你部署的模型里就再也見不到1x3和3x1卷積層了，只剩3x3了，也就是說，你最終得到的模型結構跟你只用3x3訓練的時候完全一樣，因此運行開銷也完全一樣。等效原理和訓練完成後的變換過程如下圖所示。注意，這種等效性只是在inference的時候成立的，訓練的時候training dynamics是不同的，因而會訓出更好的性能。
另外這個可以release成一個pytorch module，應該不麻煩。有沒有想合作的同學，我估計做出來能拿不少star。
不請自來了，為了讓大家更快得看論文，我們做了一個GitHub 開源項目，匯總目前放出來的ICCV2019論文，源碼和解讀，目前已經匯總了59篇，每日更新，歡迎star 和Pull request~
傳送門:
https://github.com/extreme-assistant/iccv2019
大噶都來參加ICCV了嗎？有空歡迎來我們攤位康康！
微軟亞洲研究院本次有15篇論文入選，內容涵蓋空間注意力機制、圖像深度估計、醫學圖像配准等多個前沿主題。本文就簡要為大家介紹其中的幾篇論文。
RepPoints: 替代邊界框，基於點集的物體表示新方法
RepPoints: Point Set Representation for Object Detection
論文地址：https://arxiv.org/abs/1904.11490
GitHub：https://github.com/Microsoft/Re
現有的物體理解方法幾乎都是基於邊界框的表示方法，難以描述物體更加細粒度的幾何信息。這篇工作提出了一種基於點集來替代邊界框的物體表示新方法。
如圖右所示，這種新的表示方法有潛力適應物體姿態或形狀的變化，稱為代表性點集（RepPoints）。RepPoints 能自適應地分布在物體重要的局部語義區域，並能表徵物體的幾何外延，從而提供了一個對物體更加細緻的幾何描述，同時這些點也能用於提取對識別有用的圖像特徵。
詳細介紹請看這篇文章：https://zhuanlan.zhihu.com/p/88158825
以及本文作者在另一個問題中的回答：如何評價北大、清華、微軟聯合提出的RepPoints呢？
基於跨視角信息融合的三維人體姿態估計
Cross View Fusion for 3D Human Pose Estimation
GitHub 主頁：https://github.com/microsoft/mu
現有的多視角三維人體姿態估計通常先估計二維人體姿態，再將二維提升為三維，因此一旦二維姿態估計不準確，將讓三維姿態估計結果產生很大誤差。為了進一步減小誤差，本文提出了基於跨視角信息融合的 3D人體姿態估計方法。
本方法首先建立了一個 CNN 網路，以多視角圖片作為輸入，能夠融合其他視角信息到當前視角，從而能得到更加精準的 2D 姿態；再者，提出了遞歸圖模型（Recursive Pictorial Structure Model，RPSM）來迭代地優化當前 PSM 所得到 3D 姿態，由粗略到細緻，一步一步優化減少量化誤差，來得到更加準確的 3D 姿態。
詳細介紹請看這篇文章：https://zhuanlan.zhihu.com/p/89596741
遞歸級聯網路：基於無監督學習的醫學圖像配准
Recursive Cascaded Networks for Unsupervised Medical Image Registration
論文鏈接：https://arxiv.org/abs/1907.12353
GitHub鏈接：https://github.com/microsoft/Recursive-Cascaded-Networks
醫學圖像配准具有重要的臨床意義，是醫學圖像處理任務中的關鍵步驟。待配準的圖像可來自不同的模態、不同的時間點、不同的被試或者不同的成像視角。監督學習的配准方法需要大量準確成對的相關像素點標註；即便對醫學專家來說，醫學圖像配準的成對相關像素點也非常難以標註。無監督演算法克服了標註的困難，然而現有演算法只能學習將運動圖像一次性對齊到固定圖像，對於變形大、變化複雜的配准效果較差。
本文提出了一種深度遞歸級聯的神經網路結構，可以顯著提高無監督配准演算法的準確率。圖1是用於肝臟配準的遞歸級聯網路效果圖。運動圖像通過一次一次微小的遞歸配准，最後與固定圖像對齊。每個子網路的輸入都是變形後的圖像和固定圖像，預測一個流場Φ。通過深度的遞歸迭代，最終的流場可以被分解為簡單、輕微的漸進變化，大大降低了每個子網路的學習難度。
被這種現象所啟發，我們提出了一種遞歸級聯的神經網路結構。遞歸級聯網路可以構建於任何已有的基礎網路之上，通過無監督、端到端的方式學習到深度遞歸的漸進配准。除此之外，我們還提出了一種 shared-weight 級聯技術，可以在測試中直接增加遞歸深度並提高準確率。
我們在 CT 的肝臟圖像和 MRI 的腦圖像上都做了演算法評測，使用了多樣的評價指標（包括 Dice 和關鍵點）。我們的實驗證明遞歸級聯的結構對於兩種基礎網路（VTN 和 VoxelMorph）的作用都非常顯著，並且在所有數據集上都超過了包括 ANTs 和 Elastix 在內的傳統演算法。
我們在另一篇文章里作了更詳細的介紹，傳送門：
微軟亞洲研究院：ICCV 2019 | 遞歸級聯網路：基於無監督學習的醫學圖像配准?zhuanlan.zhihu.com
對深度神經網路中空間注意力機制的經驗性研究
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
論文鏈接：https://arxiv.org/abs/1904.05873
空間注意力（Spatial Attention）機制，特別是基於 Transformer 的注意力機制在最近取得了廣泛的成功與應用，但是對該機制本身的理解和分析仍然匱乏。本論文對空間注意力機制進行了詳盡的經驗性分析，取得了更深入的理解與一些全新的觀點，這些分析表明空間注意力機制的設計存在很大的改進空間。
論文 Transformer-XL 中提出，注意力權重可以按使用的特徵因子被拆解為四項:（E1）query 內容特徵和 key 內容特徵；（E2）query 內容特徵和 query-key 相對位置；（E3）僅 key 的內容特徵；（E4）僅 query-key 相對位置。如圖2所示。
受此啟發，我們使用廣義注意力形式（公式1）來統一不同的注意力機制：
在此形式下，Transformer、可變形卷積（Deformable Convolution）和動態卷積（Dynamic Convolution）均可被視為空間注意力的不同實例，其區別僅在於如何計算注意力權重 A_m (q,k,z_q,x_k )。我們在此形式下對影響空間注意力機制的各種因素進行了詳盡的分析與研究。
圖3：不同特徵因子對 Transformer 的性能影響
通過分析 Transformer 中不同特徵因子對性能的影響（圖3），我們發現：
1） 在 Self-Attention 中，query 無關項（E3）比 query 敏感項（E1、E2、E4）更重要，且 E2 與 E3 的組合是最重要的，而 E1 對精度的影響則可以忽略。
2） 在 Encoder-decoder Attention 中，建模 Query 與 Key 在內容上的關係（E1）至關重要。
該研究表明，建模 Query 和 Key 內容特徵間的關係（E1）在 Self-Attention 中並不重要，甚至可以刪除，這與人們的普遍認知相反。
此外，我們還探索了不同注意力機制間的關係（表1、2）。結果表明可變形卷積優於僅使用 E2 的 Transformer，且通過與僅使用 Key 內容項（E3）的 Transformer 進行組合，可以達到最佳的精度-效率權衡。而動態卷積在機器翻譯任務中與僅使用 E2 的 Transformer 達到了相當的精度，但效率更低。在物體檢測與語義分割任務中動態卷積則劣於 Transformer。
這些結果表明 Transformer 仍具有巨大的改進空間。
基於視頻的無監督單幀圖像深度估計
Unsupervised High-Resolution Depth Learning from Videos With Dual Networks
論文鏈接：https://arxiv.org/abs/1910.08897
Moving Indoor: Unsupervised Video Depth Learning in Challenging Environments
論文鏈接：https://arxiv.org/abs/1910.08898
三維視覺技術需要獲取除了傳統二維圖像的以外的深度維度的信息，是計算機視覺的基礎任務之一，在三維顯示、增強現實、人機交互、無人駕駛和機器人等領域都有著非常重要且深遠的應用前景。儘管可以通過深度相機或者雙目/多目的方法採集場景深度信息，但是受到硬體設備和成本限制，以及廣泛存在的海量圖像數據，單目圖像深度估計是實際應用中非常必需的計算機視覺技術。
針對單目圖像深度估計問題，我們利用海量的視頻數據，在無需直接深度信息監督的條件下，進行了如下兩個方向的研究：
(1)高解析度圖像深度估計
自監督深度學習以目標視角圖像和視頻中由臨近幀合成的目標視角圖像之間的圖像表徵差異作為監督信息。由於所有的監督信號均來源於圖像本身，因此訓練數據的圖像解析度對模型的性能具有非常重要的影響，高解析度的圖像含有更為細節的場景信息，可以提供更準確的監督信號。受到計算設備的內存和計算性能限制，目前用於深度估計訓練的圖像輸入都經過了降採樣處理，丟失了圖像的細節信息。由此，本文提出一種基於雙網路結構的高效的網路結構，使用全解析度的圖像作為深度網路訓練的輸入以保留監督信號的完整性。本文使用深度較深的網路處理低解析度的圖像輸入，提取圖像的全局特徵，使用較淺的網路處理高解析度的圖像，提取局部的細節特徵，同時使用一種基於自組織注意力機制的模塊用來處理低紋理區域將上述的兩部分特徵進行結合預測深度值。本文在 KITTI 數據集上驗證了該方法的有效性，取得了最優的效果，特別是在一些細節物體上效果提升明顯，例如桿狀物和物體邊緣。
(2)首次實現室內情景下穩定的深度估計
由於室內情景下，深度的分布比室外更複雜，包含大量的紋理缺失區域，並且拍攝視頻的相機具有更為複雜的運動，因此傳統的用於室外深度自學習的方法無法用於室內訓練。我們提出在室內環境下使用更為魯棒的光流作為監督信息，從稀疏點的光流傳播得到密集光流再對深度網路進行監督，從而首次實現室內情景下穩定的深度估計。針對相機運動複雜的問題，我們使用光流這一比相機運動更為直接的信息作為預測相機位姿的輸入，提升了相機運動的精度。
通過空間注意力機制提升人群計數精度
Learning Spatial Awareness to Improve Crowd Counting
論文鏈接：https://arxiv.org/abs/1909.07057
人群計數的目的是利用人體頭部的中心位置標註點信息來估計圖像中的人數。隨著深度卷積神經網路的發展，這一領域在近幾年來取得了可喜的進展，現有的方法普遍採用均方誤差損失函數 L2 Loss。然而，這一方法存在兩個主要的缺點：（1）這種損失函數在空間意識的學習上存在困難（空間認知障礙）；（2）這種損失函數對人群計數中的各種雜訊高度敏感，如零雜訊、頭部尺寸變化、遮擋等。Lempitsky 等人提出的 Maximum Excess over SubArrays (MESA) loss 通過從預測密度圖中找到與 ground truth 差別最大的矩形子區域來解決了上述問題。然而，由於該方法不能使用梯度下降法求最優解，因此難以在深度學習框架中使用。
受MESA Loss的啟發，我們提出了一種新的框架 SPatial Awareness Network (SPANet)，通過結合空間語義信息，保留密度圖的 high-frequency spatial variations，提高人群計數精度。該方法與 MESA Loss 尋找差異矩形子區域不同，而是通過 MEP Loss 來優化與 ground truth 存在較大差異的像素級子區域。為了得到這個像素級子區域，我們採用了一個多分支架構，在每個分支中通過兩個 mask（其中一個 mask 是另一個 mask 的子區域）利用弱監督排序信息來發現差異大的像素，然後通過模仿顯著性區域檢測利用整個圖像進行差異檢測，從而獲得與 ground truth 具有較大差異的像素級子區域S。該框架可以集成到現有的深度人群計數方法中，並且 end-to-end training。
我們在 MCNN、CSRNet 和 SANet 三種深度卷積網路上融入了該方法，並藉助 ShanghaiTech、UCF CC 50、WorldExpo10和 UCSD 四個數據集進行了實驗。實驗結果表明，我們的方法顯著地改進了所有基線，並且優於其他先進方法。這一結果充分說明了 SPANet 的有效性，不管是密集還是稀疏人群場景，都可以提供精確的密度估計。
本賬號為微軟亞洲研究院的官方知乎賬號。本賬號立足於計算機領域，特別是人工智慧相關的前沿研究，旨在為人工智慧的相關研究提供範例，從專業的角度促進公眾對人工智慧的理解，並為研究人員提供討論和參與的開放平台，從而共建計算機領域的未來。
微軟亞洲研究院的每一位專家都是我們的智囊團，你在這個賬號可以閱讀到來自計算機科學領域各個不同方向的專家們的見解。請大家不要吝惜手裡的「邀請」，讓我們在分享中共同進步。
也歡迎大家關注我們的微博和微信 (ID:MSRAsia) 賬號，了解更多我們的研究。
大半夜自問自答一下。自己組裡投了兩篇iccv都中了！不容易不容易。分別提出了一個無需訓練數據的神經網路壓縮演算法，生成對抗網路（GAN）的剪枝演算法，無論是內部還是審稿人，均給出了比較積極正向的評論。稍後我會儘快整理並敦促開源。:-P
------ 7月24日更新 ------
由於開源和掛arxiv需要走一個審批，先給大家安利一下Data-free learning和之前的幾個工作：
- Data-Free Learning of Student Networks. ICCV 2019. 這個我們很早就掛了arxiv，大家可以先看一下，很快就會開源的。
首次提出了在無數據情況下的網路蒸餾方法（DAFL），比之前的最好演算法在MNIST上提升了6個百分點，並且使用resnet18在CIFAR-10和100上分別達到了92%和74%的準確率（無需訓練數據）。
DAFL: Data-Free Learning of Student Networks?arxiv.org2. Learning Versatile Filters for Efficient Convolutional Neural Networks. NIPS 2018.
即插即用的新型多用卷積核，在不同的任務（分類、檢測、超解析度）上均取得了比較好的效果。
http://papers.nips.cc/paper/7433-learning-versatile-filters-for-efficient-convolutional-neural-networks.pdf?papers.nips.cc3. LegoNet: Efficient Convolutional Neural Networks with Lego Filters. ICML 2019.
新型樂高卷積核，給未來的網路設計提一些新組件新思路。
http://proceedings.mlr.press/v97/yang19c/yang19c.pdf?proceedings.mlr.press以上三個工作，都會開源，都會開源，都會開源（劃重點）。大家可以先關注一下這個github，https://github.com/huawei-noah，審批完成後都會開源到相應的頁面上。
------ 7月26日更新 ------
大家關注的GAN壓縮來了，歡迎大家討論和後續試用：）
4. Co-Evolutionary Compression for Unpaired Image Translation. ICCV 2019.
https://arxiv.org/pdf/1907.10804.pdf?arxiv.org在這個工作裡面，同時維護了兩套種群，用來對cycleGAN裡面的兩個generator進行同步剪枝，並採用了discriminator aware loss來保持風格信息。保證translation任務完成的同時，將兩個generators均壓縮加速4倍以上，在一些ARM based機器上，也有約3倍左右的線上加速。 開源代碼整理好後，我再發一份詳細的介紹~
-------------------------------------------------------------------------------------
此外更新一下我們組近一年的paper list，歡迎大家關註：
1. Yunhe Wang, Chang Xu, Chunjing Xu, Chao Xu, Dacheng Tao. Learning Versatile Filters for Efficient Convolutional Neural Networks, NeurIPS 2018.
2. Zhaohui Yang, Yunhe Wang, Hanting Chen, Chuanjian Liu, Boxin Shi, Chao Xu, Chunjing Xu, Chang Xu. LegoNet: Efficient Convolutional Neural Networks with Lego Filters. ICML 2019.
3. Mingjian Zhu, Kai Han, Chao Zhang, Jinlong Lin, Yunhe Wang. Low Resolution Visual Recognition via Deep Feature Distillation, ICASSP 2019.
4. Minjing Dong, Hanting Chen, Yunhe Wang, Chang Xu. Crafting Efficient Neural Graph of Large Entropy. IJCAI 2019.
5. Kai Han, Yunhe Wang, Han Shu, Chuanjian Liu, Chunjing Xu, Chang Xu. Attribute Aware Pooling for Pedestrian Attribute Recognition. IJCAI 2019.
6. Chuanjian Liu, Yunhe Wang, Kai Han, Chunjing Xu, Chang Xu. Learning Instance-wise Sparsity for Accelerating Deep Models. IJCAI 2019.
7. Hanting Chen, Yunhe Wang, Chang Xu, Zhaohui Yang, Chuanjian Liu, Boxin Shi, Chunjing Xu, Chao Xu, Qi Tian. Data-Free Learning of Student Networks, ICCV 2019.
8. Han Shu, Yunhe Wang, Xu Jia, Kai Han, Hanting Chen, Chunjing Xu, Qi Tian, Chang Xu. Co-Evolutionary Compression for Unpaired Image Translation, ICCV 2019.
------ 2019/9/5更新開源地址 ------
Data-Free Learning of Student Networks, ICCV 2019.
開源地址：https://github.com/huawei-noah/DAFL
------ 2019/9/10更新開源地址 -----
Co-Evolutionary Compression for Unpaired Image Translation, ICCV 2019.
開源地址：https://github.com/huawei-noah/GAN-pruning
Learning Versatile Filters for Efficient Convolutional Neural Networks
開源地址：https://github.com/huawei-noah/Versatile-Filters
LegoNet: Efficient Convolutional Neural Networks with Lego Filters
開源地址：https://github.com/huawei-noah/LegoNet
推薦閱讀：
