CVPR 2019 有哪些值得關注的亮點? 放一個好玩的工作:Deep Flow-based Video In-painting。目前圖片和視頻的檢測識別已經做得非常好了,視頻場景內容編輯與剪輯,將是後面的一個研究熱點。我跟mmlab優秀的同學Rui Xu,Xiaoxiao Li,以及Cavan老師的工作。深度Flow視頻內容填充 我看大家推薦的都是深度學習方向的論文,那我就來推薦一篇非深度學習的: side window filtering?arxiv.org這篇論文也是今年 CVPR oral ,而其核心貢獻點是:不管原來的濾波器保不保邊,運用了side-window思想之後,都可以讓它變成保邊濾波!論文的復現結果,盒子濾波: 熊貓寶寶+椒鹽雜訊 去噪結果, box filter, iteration = 10 去噪結果, side window box filter, iteration = 10中值濾波: 殲20+椒鹽雜訊 去噪結果, median filter, iteration = 10 去噪結果, side window median filter, iteration = 10side window box filter C++復現代碼:Ldpe2G/ArmNeonOptimization?github.comside window median filter C++復現代碼:Ldpe2G/ArmNeonOptimization?github.com對這篇論文的解讀可以看下我寫的博客:梁德澎:Side Window Filtering 論文解讀和C++實現?zhuanlan.zhihu.com更多參考資料:AI雞蛋:Sub-window Box Filter論文介紹?zhuanlan.zhihu.comAI雞蛋:CVPR2019 Oral論文 #5176 Side Window Filtering介紹?zhuanlan.zhihu.com ------------更新-------------代碼已開源,歡迎大家試用,支持fp16低精度運算(節約顯存,在新一代的GPU上可加速訓練)。 感謝。 NVlabs/DG-Net------------原答-------------歡迎大家關注我們CVPR19 Oral的工作 https://arxiv.org/abs/1904.07223。感謝大家。 Joint Discriminative and Generative Learning for Person Re-identification Paper Link: https://arxiv.org/abs/1904.07223Zhedong Zheng, Xiaodong Yang, Zhiding Yu, Liang Zheng, Yi Yang, Jan KautzDGNet-CVPR19(視頻備份鏈接: B站:https://www.bilibili.com/video/av51439240/ 騰訊:https://v.qq.com/x/page/t0867x53ady.html )行人重識別的難點在於不同攝像頭下人的類內變化(包括攝像頭的視角/光照/人的姿態等)。本文沒有使用任何部件匹配的損失,而是僅僅讓模型去「看」更多的訓練圖像來提升行人重識別的效果。而這些訓練圖像都是由GAN生成的。相比於ICCV2017時第一篇使用GAN來生成行人圖像的文章[1],本文不僅在生成圖像質量上有了大的提升,同時也將行人重識別的模型與生成模型做了有機的結合。從行人重識別模型提取好的行人特徵可以作為GAN的input vector,而GAN生成圖像可以用來finetune行人重識別模型。具體介紹可見:(感謝大家 )鄭哲東:NVIDIA/悉尼科技大學/澳洲國立大學新作解讀:用GAN生成高質量行人圖像,輔助行人重識別?zhuanlan.zhihu.com[1] Zheng, Zhedong, Liang Zheng, and Yi Yang. "Unlabeled samples generated by gan improve the person re-identification baseline in vitro." In ICCV 2017. 我可以說一下我看了哪些CVPR的論文,作為對自己這段時間閱讀的總結。1.Few-shot Adaptive Faster R-CNN最近我也在尋找目標檢測的其他方向,一般可以繼續挖掘的方向是從目標檢測的數據入手,困難樣本的目標檢測,如檢測物體被遮擋,極小人臉檢測,亦或者數據樣本不足的演算法。這裡筆者介紹一篇小樣本(few-shot)數據方向下的域適應(Domain Adaptation)的目標檢測演算法,這篇新加坡國立大學華為諾亞方舟實驗室的paper《Few-shot Adaptive Faster R-CNN》。創新點:(1). 論文分為兩個level的域遷移,圖像級別的域遷移和實例級別的域遷移。(2). 為瞭解決小樣本問題,使用了成對訓練,類似笛卡爾積的操作,把目標域物體與源域物體結對訓練。源域對 和源域-目標域對 ?。判別器判斷樣本來源,生成器是特徵提取器器目標是混淆判別器。 (3). 最後加了個模型正則化,是模型更加魯棒。 詳細的可以看我的論文解讀:CVPR 2019 | 小樣本域適應的目標檢測?mp.weixin.qq.com最近域適應和小樣本方向都是可以繼續研究的方向,我覺得這篇給的思路是不錯的,但是這樣非對偶式的組隊解決了問題不夠優雅。 2. Libra R-CNN不需增加計算成本的條件下,居然能漲兩個點mAP。除了Libra R-CNN(天秤座 RCNN),我還記得陳愷大佬他們港中文的實驗室今年還中了一篇CVPR2019是《Region Proposal by Guided Anchoring》,這篇看題目就知道是指導anchor的形狀漲分,也是十分不錯的。? 這兩篇改進的源碼都會在github上放出,作者表示還在完善中,地址是:https://github.com/open-mmlab/mmdetection這個mmdetection簡直是業界良心,聽說十分好用,很多打比賽的都用這個框架。ManWingloeng:CVPR2019 | Libra R-CNN 論文解讀?zhuanlan.zhihu.com縱觀目前主流的目標檢測演算法,無論SSD、Faster R-CNN、Retinanet這些的detector的設計其實都是三個步驟: 選擇候選區域 提取特徵 在muti-task loss下收斂 往往存在著三種層次的不平衡: sample level feature level objective level 這就對應了三個問題: 採樣的候選區域是否具有代表性? 提取出的不同level的特徵是怎麼才能真正地充分利用? 目前設計的損失函數能不能引導目標檢測器更好地收斂? 對應了三種解決方法: IoU-balanced Sampling Balanced Feature Pyramid Balanced L1 Loss 這篇是我最近看來文章結構最清晰明瞭,分析到位的paper了,雖然以前也有很多分析目標檢測的缺陷的文章,但是Libra-RCNN這篇分析是到位的,都給出了對應的解決方案。3. A Simple Pooling-Based Design for Real-Time Salient Object Detection本文是基於U型結構的特徵網路研究池化對顯著性檢測的改進,具體步驟是引入了兩個模塊GGM(Global Guidance Module,全局引導模塊)和FAM(Feature Aggregation Module,特徵整合模塊),進而銳化顯著物體細節,並且檢測速度能夠達到30FPS。因為這兩個模塊都是基於池化做的改進所以作者稱其為PoolNet,並且放出了源碼:https://github.com/backseason/PoolNetManWingloeng:CVPR 2019|PoolNet:基於池化技術的顯著性檢測 論文解讀?zhuanlan.zhihu.com創新點:提出了兩個模塊: GGM(Global Guidance Module,全局引導模塊) FAM(Feature Aggregation Module,特徵整合模塊) FAM有以下兩個優點: 幫助模型降低上採樣(upsample)導致的混疊效應(aliasing) 從不同的多角度的尺度上縱觀顯著物體的空間位置,放大整個網路的感受野 說實話,我覺得這篇寫得有點亂,我看了很久才知道怎麼做的,尤其這個全局引導模塊有點突兀。但是源碼給出來了,大家可以去試用一下。4. BASNet: Boundary-Aware Salient Object DetectionBASNet該方法主要的亮點在於引入結構相似性損失,最後三種損失(BCE損失,SSIM損失,IoU損失)相加,同時考慮,著眼於解決邊界模糊問題,更注重邊界質量,因為在結構相似性損失下,邊界的損失會比顯著性物體內部或其他地方賦予的權重更高。文章也嘗試從三種層次上解答為什麼設計三個損失,結構還算清晰。但是個人認為主要還是結構相似性損失的引入比較有價值。創新點: 主要創新點在loss的設計上,使用了交叉熵、結構相似性損失、IoU損失這三種的混合損失,使網路更關注於邊界質量,而不是像以前那樣只關注區域精度。源碼:https://github.com/NathanUA/BASNetManWingloeng:CVPR2019 論文解讀| BASNet:關注邊界的顯著性目標檢測?zhuanlan.zhihu.com 結構相似性損失: 這三行熱力圖變化,顏色越紅代表損失對待該像素點的權重越大,也就是越重視該點,越藍表示權重對待越小。從第一行的BCE損失變化可以看出,BCE損失是pixel-wise的,它是一個非常公平的損失函數,對待前景和背景一開始區別不大,訓練過程中幾乎達到了任何像素點都一視同仁。而第二行關於結構相似性損失的變化,可以看到無論?和?怎麼變化都是對顯著物體邊界賦予較高的權重。 CVPR2019 圖像配準 相關論文盤點 首先特別感謝 周少華Kevin 老師整理的 CVPR2019 醫學影像分析文集[1]。受該文章啟發,整理一下CVPR2019[2]圖像配準相關的工作。再次特別感謝 @極市平臺 整理的 github 清單[3]。共7篇論文,已有4篇代碼開源。PS:如果有同學閱讀的話,之後還會整理其他會議的相關論文 另外,由於還沒閱讀這幾篇論文,無法撰寫介紹性或者評論的文字,歡迎老師和同學在評論區多多指教!2019.8.27 醫學圖像配準Metric Learning for Image Registration 重點推薦開源代碼:uncbiag/registration (截至19.08.21作者還沒開源…) Networks for Joint Affine and Non-Parametric Image Registration Multiview 2D/3D Rigid Registration via a Point-Of-Interest Network for Tracking and Triangulation 3D圖像/點雲 配準SDRSAC: Semidefinite-Based Randomized Approach for Robust Point Cloud Registration Without Correspondences 開源代碼:intellhave/SDRSAC 3D Local Features for Direct Pairwise Registration PointNetLK: Robust Efficient Point Cloud Registration Using PointNet 開源代碼:hmgoforth/PointNetLK FilterReg: Robust and Efficient Probabilistic Point-Set Registration Using Gaussian Filter and Twist Parameterization 開源代碼:Bitbucket 其他配準相關內容請移步專欄 圖像配準指北?zhuanlan.zhihu.com 參考 ^CVPR2019醫學影像分析文集 https://mp.weixin.qq.com/s/3-YpBL02QY8PmlTiCVmJiQ ^CVPR2019論文列表 http://openaccess.thecvf.com/CVPR2019.py ^cvpr2019/cvpr2018/cvpr2017(Papers/Codes/Project/Paper reading) https://github.com/extreme-assistant/cvpr2019 推薦閱讀: 相關文章 {{#data}} {{title}} {{/data}}