放一個好玩的工作：Deep Flow-based Video In-painting。目前圖片和視頻的檢測識別已經做得非常好了，視頻場景內容編輯與剪輯，將是後面的一個研究熱點。

我跟mmlab優秀的同學Rui Xu，Xiaoxiao Li，以及Cavan老師的工作。

深度Flow視頻內容填充

我看大家推薦的都是深度學習方向的論文，那我就來推薦一篇非深度學習的：

side window filtering?

arxiv.org

這篇論文也是今年 CVPR oral ，而其核心貢獻點是：不管原來的濾波器保不保邊，運用了side-window思想之後，都可以讓它變成保邊濾波！

論文的復現結果，盒子濾波：

熊貓寶寶+椒鹽雜訊

去噪結果, box filter, iteration = 10

去噪結果, side window box filter, iteration = 10

中值濾波：

殲20+椒鹽雜訊

去噪結果, median filter, iteration = 10

去噪結果, side window median filter, iteration = 10

side window box filter C++復現代碼：

Ldpe2G/ArmNeonOptimization?

github.com圖標

side window median filter C++復現代碼：

Ldpe2G/ArmNeonOptimization?

github.com圖標

對這篇論文的解讀可以看下我寫的博客：

梁德澎：Side Window Filtering 論文解讀和C++實現?

zhuanlan.zhihu.com圖標

更多參考資料：

AI雞蛋：Sub-window Box Filter論文介紹?

zhuanlan.zhihu.com圖標AI雞蛋：CVPR2019 Oral論文 #5176 Side Window Filtering介紹?

zhuanlan.zhihu.com圖標

------------更新-------------

代碼已開源，歡迎大家試用，支持fp16低精度運算（節約顯存，在新一代的GPU上可加速訓練）。 感謝。 NVlabs/DG-Net

------------原答-------------

歡迎大家關注我們CVPR19 Oral的工作 https://arxiv.org/abs/1904.07223。感謝大家。

  • Joint Discriminative and Generative Learning for Person Re-identification

Paper Link: https://arxiv.org/abs/1904.07223

Zhedong Zheng, Xiaodong Yang, Zhiding Yu, Liang Zheng, Yi Yang, Jan Kautz

DGNet-CVPR19

(視頻備份鏈接： B站：https://www.bilibili.com/video/av51439240/ 騰訊：https://v.qq.com/x/page/t0867x53ady.html )

行人重識別的難點在於不同攝像頭下人的類內變化（包括攝像頭的視角/光照/人的姿態等）。本文沒有使用任何部件匹配的損失，而是僅僅讓模型去「看」更多的訓練圖像來提升行人重識別的效果。而這些訓練圖像都是由GAN生成的。相比於ICCV2017時第一篇使用GAN來生成行人圖像的文章[1]，本文不僅在生成圖像質量上有了大的提升，同時也將行人重識別的模型與生成模型做了有機的結合。從行人重識別模型提取好的行人特徵可以作為GAN的input vector，而GAN生成圖像可以用來finetune行人重識別模型。

具體介紹可見：(感謝大家 )

鄭哲東：NVIDIA/悉尼科技大學/澳洲國立大學新作解讀：用GAN生成高質量行人圖像，輔助行人重識別?

zhuanlan.zhihu.com圖標

[1] Zheng, Zhedong, Liang Zheng, and Yi Yang. "Unlabeled samples generated by gan improve the person re-identification baseline in vitro." In ICCV 2017.

我可以說一下我看了哪些CVPR的論文，作為對自己這段時間閱讀的總結。

1.Few-shot Adaptive Faster R-CNN

最近我也在尋找目標檢測的其他方向，一般可以繼續挖掘的方向是從目標檢測的數據入手，困難樣本的目標檢測，如檢測物體被遮擋，極小人臉檢測，亦或者數據樣本不足的演算法。這裡筆者介紹一篇小樣本（few-shot）數據方向下的域適應（Domain Adaptation）的目標檢測演算法，這篇新加坡國立大學華為諾亞方舟實驗室的paper《Few-shot Adaptive Faster R-CNN》。

創新點：

（1）. 論文分為兩個level的域遷移，圖像級別的域遷移和實例級別的域遷移。

（2）. 為了解決小樣本問題，使用了成對訓練，類似笛卡爾積的操作，把目標域物體與源域物體結對訓練。源域對 [公式]和源域-目標域對 [公式]?。判別器判斷樣本來源，生成器是特徵提取器器目標是混淆判別器。

（3）. 最後加了個模型正則化，是模型更加魯棒。

[公式]

詳細的可以看我的論文解讀：

CVPR 2019 | 小樣本域適應的目標檢測?

mp.weixin.qq.com圖標

最近域適應和小樣本方向都是可以繼續研究的方向，我覺得這篇給的思路是不錯的，但是這樣非對偶式的組隊解決了問題不夠優雅。

2. Libra R-CNN

不需增加計算成本的條件下，居然能漲兩個點mAP。除了Libra R-CNN（天秤座 RCNN），我還記得陳愷大佬他們港中文的實驗室今年還中了一篇CVPR2019是《Region Proposal by Guided Anchoring》，這篇看題目就知道是指導anchor的形狀漲分，也是十分不錯的。

? 這兩篇改進的源碼都會在github上放出，作者表示還在完善中，地址是：https://github.com/open-mmlab/mmdetection

這個mmdetection簡直是業界良心，聽說十分好用，很多打比賽的都用這個框架。

ManWingloeng：CVPR2019 | Libra R-CNN 論文解讀?

zhuanlan.zhihu.com圖標

縱觀目前主流的目標檢測演算法，無論SSD、Faster R-CNN、Retinanet這些的detector的設計其實都是三個步驟：

  • 選擇候選區域
  • 提取特徵
  • 在muti-task loss下收斂

往往存在著三種層次的不平衡：

  • sample level
  • feature level
  • objective level

這就對應了三個問題：

  • 採樣的候選區域是否具有代表性？
  • 提取出的不同level的特徵是怎麼才能真正地充分利用？
  • 目前設計的損失函數能不能引導目標檢測器更好地收斂？

對應了三種解決方法：

  • IoU-balanced Sampling
  • Balanced Feature Pyramid
  • Balanced L1 Loss

這篇是我最近看來文章結構最清晰明了，分析到位的paper了，雖然以前也有很多分析目標檢測的缺陷的文章，但是Libra-RCNN這篇分析是到位的，都給出了對應的解決方案。

3. A Simple Pooling-Based Design for Real-Time Salient Object Detection

本文是基於U型結構的特徵網路研究池化對顯著性檢測的改進，具體步驟是引入了兩個模塊GGM(Global Guidance Module，全局引導模塊)和FAM(Feature Aggregation Module，特徵整合模塊)，進而銳化顯著物體細節，並且檢測速度能夠達到30FPS。因為這兩個模塊都是基於池化做的改進所以作者稱其為PoolNet，並且放出了源碼：https://github.com/backseason/PoolNet

ManWingloeng：CVPR 2019|PoolNet:基於池化技術的顯著性檢測 論文解讀?

zhuanlan.zhihu.com圖標

創新點：

提出了兩個模塊：

  • GGM(Global Guidance Module，全局引導模塊)
  • FAM(Feature Aggregation Module，特徵整合模塊)

FAM有以下兩個優點：

  • 幫助模型降低上採樣（upsample）導致的混疊效應（aliasing）
  • 從不同的多角度的尺度上縱觀顯著物體的空間位置，放大整個網路的感受野

說實話，我覺得這篇寫得有點亂，我看了很久才知道怎麼做的，尤其這個全局引導模塊有點突兀。但是源碼給出來了，大家可以去試用一下。

4. BASNet: Boundary-Aware Salient Object Detection

BASNet該方法主要的亮點在於引入結構相似性損失，最後三種損失（BCE損失，SSIM損失，IoU損失）相加，同時考慮，著眼於解決邊界模糊問題，更注重邊界質量，因為在結構相似性損失下，邊界的損失會比顯著性物體內部或其他地方賦予的權重更高。文章也嘗試從三種層次上解答為什麼設計三個損失，結構還算清晰。但是個人認為主要還是結構相似性損失的引入比較有價值。

創新點：

主要創新點在loss的設計上，使用了交叉熵、結構相似性損失、IoU損失這三種的混合損失，使網路更關注於邊界質量，而不是像以前那樣只關注區域精度。

源碼：https://github.com/NathanUA/BASNet

ManWingloeng：CVPR2019 論文解讀| BASNet：關注邊界的顯著性目標檢測?

zhuanlan.zhihu.com圖標

結構相似性損失：

[公式]

這三行熱力圖變化，顏色越紅代表損失對待該像素點的權重越大，也就是越重視該點，越藍表示權重對待越小。從第一行的BCE損失變化可以看出，BCE損失是pixel-wise的，它是一個非常公平的損失函數，對待前景和背景一開始區別不大，訓練過程中幾乎達到了任何像素點都一視同仁。

而第二行關於結構相似性損失的變化，可以看到無論?和?怎麼變化都是對顯著物體邊界賦予較高的權重。

CVPR2019 圖像配准 相關論文盤點

首先特別感謝 周少華Kevin 老師整理的 CVPR2019 醫學影像分析文集[1]。

受該文章啟發，整理一下CVPR2019[2]圖像配准相關的工作。再次特別感謝 @極市平台 整理的 github 清單[3]。共7篇論文，已有4篇代碼開源。PS：如果有同學閱讀的話，之後還會整理其他會議的相關論文 另外，由於還沒閱讀這幾篇論文，無法撰寫介紹性或者評論的文字，歡迎老師和同學在評論區多多指教！2019.8.27

醫學圖像配准

Metric Learning for Image Registration 重點推薦開源代碼：uncbiag/registration （截至19.08.21作者還沒開源…）

Networks for Joint Affine and Non-Parametric Image Registration

Multiview 2D/3D Rigid Registration via a Point-Of-Interest Network for Tracking and Triangulation

3D圖像/點雲 配准

SDRSAC: Semidefinite-Based Randomized Approach for Robust Point Cloud Registration Without Correspondences 開源代碼：intellhave/SDRSAC

3D Local Features for Direct Pairwise Registration

PointNetLK: Robust Efficient Point Cloud Registration Using PointNet 開源代碼：hmgoforth/PointNetLK

FilterReg: Robust and Efficient Probabilistic Point-Set Registration Using Gaussian Filter and Twist Parameterization 開源代碼：Bitbucket

其他配准相關內容請移步專欄

圖像配准指北?

zhuanlan.zhihu.com圖標

參考

  1. ^CVPR2019醫學影像分析文集  https://mp.weixin.qq.com/s/3-YpBL02QY8PmlTiCVmJiQ
  2. ^CVPR2019論文列表 http://openaccess.thecvf.com/CVPR2019.py
  3. ^cvpr2019/cvpr2018/cvpr2017（Papers/Codes/Project/Paper reading） https://github.com/extreme-assistant/cvpr2019

推薦閱讀：
相关文章