做計算機視覺/目標檢測的大家，投入工業後都從事哪些大方向呢？

作為一個快畢業的做cv渣碩，主要做object detection這塊。所以想問問前輩們，畢業投身工業後，檢測有哪些大方向可走？我了解到的是自動駕駛？emmmm.... 還請前輩們傳授經驗~

蟹餚。

object detection 學術界準確率刷得飛起，提升一個點，可能就一篇頂會。

隨機選取一個演算法到嵌入式端控制器試試，看看精度，看看幀率。

處在工業界的表示，榜單儘管刷，最後能用的，少之又少。寫在前面，不能落地的演算法都是"自娛自樂"。

這裡提供兩個方向供參考吧。以下都是以自動駕駛領域為說明。

1. 繼續在工業界研究目標檢測網路。這裡研究的目標檢測網路會更具有針對性，一方面考慮到自動駕駛車載控制器的硬體性能，包括傳統的車載iecu，還有NVIDIA的px2 Pegasus，前者性能相比於後者低幾個檔次，網路無法發揮其特點，需要對網路進行裁剪，壓縮，剪枝。模型壓縮是一個很好的方向，神經網路里的"萬金油"，去哪裡，用哪個平台，都離不開模型壓縮，當然還有NV自帶的Tensor RT壓縮工具。

其次，跨平台的語言，在pc端經典使用的caffe，除了NV的控制器，也不能完全依靠他們的控制器模塊，還有FPGA，瑞薩的iecu，會用OPENCL語言，或FPGA語言將caffe的每一層實現(地平線/賽靈思在做這個工作)，也是很666的，當然這個難度就上升幾個檔次了。

另外一方面就是針對工程化實現，對檢測網路做相應的修改，包括具體的應用場景(園區/港口/城區)，網路模型的選取(小型化/輕量化)，設計(被檢測的對象:人/車/靜態物體等)，網路層的修改(回歸2D點/3D點)等。這一點也是很難的，不同的場景需求，就更考驗工程化能力了，不單單是統一常規的檢測網路了。以上3個方面是基於對檢測網路有很深理解的前提下，可以往這幾個方向發展。

2.工程化實戰。不深究檢測網路模型，直接拿檢測網路的輸出介面過來用，是做一個目標檢測網路工程化部署這麼一個工作。這個工作更鍛煉人的實戰能力，遇到的實際問題網上很少能找到答案的。簡單講講這一塊所要做的一些工作，拿車載iecu為例，算力有限，gpu資源有限，選取的網路模型需儘可能的小型化輕量化。程序框架的構思為

輸入介面包括(1)相機的調用，圖像讀取(若是魚眼圖像，還需做標定，畸變處理)。(2)載入檢測網路的輸出介面。(3)讀取車輛的一些信息，包括自車的車體坐標，航向角等信息(lcm模塊)。這幾個部分的處理，線程的統一調度，相互之間的數據傳遞等都是需要考慮的

中間處理過程包括(1)檢測是一方面，還需要加入被檢測物體的位置信息，這就涉及到相機模型的理解，測距功能前視相機測距和魚眼相機測距原理是不一樣的。(2)加入追蹤功能，不加追蹤，出來的檢測框抖動會比較大，同時，僅有檢測也無法給出被檢測物體的id號。會加一些幀間匹配和濾波的功能消除框抖動的問題。(3)數據的處理，濾波操作，視頻檢測框不同於圖像檢測，實時過程中會存在抖動，影響測距功能，所以需要加入一些後處理平滑功能，使檢測框更平穩。

輸出模塊包括向融合決策層提供被檢測物體的label，id，distance，age等，感知層與融合層的通信需要統一定義的介面協議來聯調，發送的時間接收的時間是否對應上，寫入的數據是否滿足定義的數據類型等。

上述所有一切完成後，大量的測試，實驗，測試，實驗等著你，然後暴露問題，分析問題，解決問題，不斷的feedback，debug，modify，再重複測試，如此循環。工程師們如此重複，反覆，重複，反覆，最後可能會輸出一個優良的結果，也可能項目直接down機，不管怎樣，朝著工匠精神的方向努力吧！

歡迎關注專欄：

自動駕駛與視覺感知?

zhuanlan.zhihu.com

關於工程落地、關於目標檢測、關於多目標追蹤：

SYUI：工程實踐中，目標檢測為何要加目標追蹤？?

zhuanlan.zhihu.com

SYUI：目標檢測演算法工程落地?

zhuanlan.zhihu.com

簡單地回答：

目標檢測在工業領域的大方向：自動駕駛，人臉識別，醫學輔助診斷，信息檢索，機器人，故障診斷，等等。

碩士應屆生崗位一是偏研究，先往一個小方向深了走，尋找落地的機會。也可能偏工程，解決技術落地時候各種極具挑戰的、瑣碎的、甚至意想不到的問題。

具體地回答：

目標檢測在工業界最火的方向毫無疑問是自動駕駛。這一波浪潮從16年正式開始。那時候大小廠需要快速prototyping，大量招人。搞了這麼些年之後大家冷靜下來了，因為發現用深度學習做物體檢測儘管比以前好太多，但放在汽車這種人命關天的場景里還是不夠魯棒。

畢竟以安全為賣點就必須要為安全負責。現在大家忙於解決各種corner case下的檢測——不僅僅包括惡劣天氣、光照、遮擋，還有很多看似簡單但對神經網路來說很迷惑的場景：

（圖片A，來自網路）

（圖片B，來自網路）

（圖片C，來自網路）

你永遠不知道在路上會見到什麼：

(a)這是自行車還是汽車？好像是汽車？

(b)這回應該是自行車吧？

(c)這是個雞還是人？

除此之外，還得應對潛在的對抗樣本攻擊，後者可以騙過物體檢測系統造成安全隱患：

百度的實驗結果：自動駕駛感知系統完全沒有檢測出3D列印的對抗樣本，但很快檢測除了常規障礙物（路上一個紙箱）。第一排是激光雷達視野，第二排是相機視野^[1]。

解決這些問題的同時，得考慮成本、算力，並且跟整個系統的控制邏輯和數據流兼容。在自動駕駛（以及其他類似的複雜系統）語境下，「物體檢測功能」只是個「錦」。

現在稍有來頭的大小廠做自動駕駛物體檢測已經不缺prototyping的人——除非是state of the art那種prototyping，至少一篇頂會一作，高端研究人員——最缺的是能提高模型魯棒性、安全性、高效性、兼容性這樣「添花」的人才。

對大部分普通應屆生來說，沒有頂會，對魯棒性安全性系統工程這些方面也沒有什麼積累的話，至少得懂一點並行計算、網路壓縮之類工業常用的技巧。自動駕駛這個行業火歸火，但如果選擇入局並希望有長遠發展，不管是公司還是個人，都需要修鍊能「錦上添花」的技術傍身。

除了自動駕駛，還有很多其他大方向供你選擇。

例如人臉識別，不少做CV的大廠（商湯、曠視、依圖，等等）都是以此為主要業務。他們的甲方可能是民營企業，例如最常見的給大樓園區做門禁、安檢，也可能是國企、政府，涉及監控、安防等等。一些拍照、小視頻、支付APP產品也需要人臉識別功能作為基礎模塊。放眼全世界，人臉檢測唯中國馬首是瞻。

圈子裡技術、資源、山頭都已成型。大公司有體系化的產品優勢但是收費高，小公司依靠打價格也能有自己的市場。同樣的，這個大方向亦存在「錦上添花」的需求。你原本可能只是檢測人臉，但業務上難免會遇到相關的任務或者合作，例如面部關鍵點檢測、姿態檢測、疲勞檢測、活體檢測，等等。

Always keep an open mind。

第三個大方向是醫學圖像領域。很多醫學方面的研究機構、數據分析機構、諮詢公司等都開始用深度學習驅動的目標檢測方法輔助診斷。小到皮膚炎，大到某些腫瘤，目標檢測演算法在很多醫學領域已經達到或者超過人類專家的診斷水平^[2]。

但依然，這個領域有它自己的挑戰，甚至是和你之前做目標檢測的經驗完全相反的。例如，在自動駕駛領域，我們希望從圖像的不同尺度上里檢測出汽車、行人，這是保證安全性的前提。然而醫學圖像恰恰相反。很多病症不是尺度無關的（not scaling invariant），一個腫瘤在不同尺度下可能會被檢測成性質完全不同的東西，修改尺度信息反而會大大降低最後檢測的準確度。

還有一類比較窄一點的方向，是做object-based image retrieval的，識別出圖片里的物體和它們之間的關係以達到更好的信息檢索效果。例如你搜索人騎馬，出來的圖片都是人上馬下，沒有人左馬右，或者單人單馬這樣的情況。這種應用在很多互聯網公司甚至傳統行業都會有，因為和資料庫、搜索強相關。

除了以上所提的幾個方向，還有工業/服務機器人領域，故障檢測領域，等等。基本通過字面就能看出來目標檢測在裡面大概承擔怎樣的功能，故不一一講述。

總體來說，無論選了哪一個工業領域，最終還是要面臨偏研究和偏工程的選擇。

當然，也可以偏項目，偏產品，從技術出發轉型管理，這個看個人資質和喜好，暫且不表。單說技術崗，如果選擇偏研究，那麼在校期間好好打基礎，目標發頂會。要是好奇心尚未泯滅，沒有出來賺錢的急迫壓力，建議繼續深造。

畢竟CV或者目標檢測都是非常需要沉澱的技術崗位。專心讀個博士，之後眼界和研究能力和在工業界四五年相比大有不同。

如果選擇偏工程，那麼打好演算法、CV、DL的基礎，這些是應屆找工作時候的「錦」，決定你的下限。學校期間的研究成果是「花」，決定你找工作的上限。

在工作中保持開放的心態，了解相關的技術點、業務的痛點，積累技術棧。不論在哪個領域做什麼樣的選擇，始終打造自己創造價值的能力，就不用擔心行業的潮起潮落。

希望以上分享有幫助。

參考

^Cao, Yulong, et al. "Adversarial Objects Against LiDAR-Based Autonomous Driving Systems." arXiv preprint arXiv:1907.05418 (2019).
^吳博：目標檢測集成框架在醫學圖像 AI 輔助分析中的應用 | AI 研習社第 78 期大講堂 https://www.jishuwen.com/d/2OpS

發佈於 2019-11-26繼續瀏覽內容知乎發現更大的世界打開Chrome繼續鄧定侯神拳小諸葛