IEEE IV 2018：一種實例分割方法實現端到端車道檢測

由IEEE智能交通系統協會 (ITSS)主辦的 The 29th IEEE Intelligent Vehicles Symposium（第29屆IEEE IV 國際智能車大會）將於6月26日-6月30日在江蘇常熟舉辦。本屆IEEE IV大會共收到來自34個國家的603篇論文，本篇論文為大會優秀論文之一。本文提出了一種快速車道檢測演算法，在運行速度為50幀/秒速度下，可以處理不同數量的車道並應對車道變化。其方法在tuSimple數據集上得到了驗證並獲得了不錯的結果。微信後台回復：IV2018，下載大會論文。

Towards End-to-End Lane Detection an InstanceSegmentation Approach

Davy NeevnBert De Brabandere Stamatios Georgoulis Marc Proesmans Luc Van Gool ESAT-PSI,KU Leuven [email protected]

摘要：現代汽車融合了越來越多的駕駛輔助功能，其中包括車道保持功能。該功能可以讓汽車正確定位在車道線內，這對於完全自動駕駛汽車中車道偏離或軌跡規劃決策有很重要的意義。傳統車道檢測方法依賴於高度專業的手工特徵標記和後處理啟發式演算法的組合，這些技術計算昂貴，並且由於道路現場變化而易於擴展。最近有研究利用深度學習模型來進行像素級車道分割訓練，也可以用於圖像由於較大的接收範圍而沒有標記的情況。儘管有其優點，但這些方法僅限於檢測預和定義固定數量的車道，並且不能應對車道變化。

在本文中，我們超越了上述限制，提出將車道檢測問題看作一個實例分割問題（其中每個車道都形成自己的實例）可以進行端到端的訓練。為了在裝配車道前對分段的車道實例進行參數化，我們應用了一個以圖像為條件的學習透視變換（不適用於固定的「鳥瞰」變換），這樣，我們確保了一種對道路變化具有魯棒性的車道匹配，不像現有的方法，依靠固定、預定義轉換的方法。總之，我們提出了一種快速車道檢測演算法，運行速度為50幀/秒，可以處理不同數量的車道並應對車道變化。我們在tuSimple數據集上驗證了我們的方法並獲得了不錯的結果。

本文作者Davy Neevn是魯汶大學博士研究生，魯汶大學是比利時久負盛名的最高學府，歐洲歷史最悠久且最受人尊敬的大學之一，也是享譽全球的世界級頂尖研究型大學。Davy Neevn近幾年一直在從事語義分割、場景理解、實例分割等課題的研究。

傳統車道線檢測技術

目前，無論是在學術還是工業層面，自動駕駛都是計算機視覺和機器人技術研究的主要焦點。不論何種方案，都需要使用各種感測器和控制模塊，感知汽車周圍的環境。基於攝像頭的車道檢測是環境感知的重要方法，它可以讓車輛在車道內正確定位，同時它對後續的車道偏離或軌跡規劃也至關重要。因此，準確的基於攝像頭的車道檢測是實現完全自動駕駛的關鍵推動因素。傳統的車道檢測方法（例如[9]，[15]，[17]，[33]，[35]）依靠高度專業化的手工特徵標記和啟發式識別來識別車道線。這種手工標記的方法主要是基於顏色的特徵[7]，結構張量[25]，條形過濾器[34]，脊線特徵[26]等，它們可能與霍夫變換 [23]， [37]或卡爾曼濾波器[18]，[8]，[34] 相結合。識別車道線後，採用後處理技術來濾除誤檢以形成最終車道。通常，這些傳統方法很容易由於道路場景變化而導致魯棒性問題。

基於深度學習的車道線檢測

最近的研究有人用深度神經網路取代手工標記，通過構建一定量學習密集的特徵檢測器進行預測，即像素級的車道分段。 Gopalan等人[11]使用像素級特徵描述符來建模，並且使用增強演算法來選擇用於檢測車道標記的相關特徵。類似地，Kim和Lee [19]將卷積神經網路（CNN）與RANSAC演算法結合起來以檢測車道線。注意，在他們的方法中，CNN主要用於圖像增強，並且只有道路場景複雜時才會使用。Huval等人[16]用CNN模型用於高速公路駕駛，其中包括執行車道檢測和端到端CNN分類。Li等人[22]提出了使用多任務深度卷積網路，其重點在於尋找幾何車道屬性，如位置和方向，以及檢測車道的循環神經網路（RNN）。還有人 [21] 做了更多的研究，利用深度神經網路訓練如何在不利的天氣和低照度條件下共同處理車道和道路標記檢測和識別。上述神經網路模型除了更好地劃分車道標記的能力之外[16]，它們也可以在圖像中標記不存在的情況下，估計車道線。然而，生成的二元分段車道仍然需要分解到不同的車道實例中。

為了解決這個問題，一些研究應用了後處理技術，這些技術依賴幾何特性為指導的啟發式演算法。啟發式方法在計算上比較昂貴，並且由於道路場景變化容易出現魯棒性問題。

實例分割方法實現端到端車道檢測

在本文中，我們超越了上述限制，提出將車道檢測問題作為一個實例分割問題，其中每個車道在車道類中形成自己的實例。受密集預測網路在語義分割[24]，[28]，[31]，[6]和實例分割任務[36]，[38]，[30]，[2]，[14]等成功的啟發， [5]我們設計了一個多任務網路分支，包括一個車道分割分支和一個車道嵌入分支，可以進行端到端的訓練。車道分割分支具有兩個輸出類別，即背景或車道，而車道嵌入分支進一步將分段的車道像素分解成不同的車道實例。通過將車道檢測問題分解為上述兩個任務，我們可以充分利用車道分割分支的功能，而不必為不同的車道分配不同的類別。相反，使用聚類損失函數訓練的車道嵌入分支將車道ID分配給來自車道分割分支的每個像素，同時忽略背景像素。通過這樣做，我們減輕了車道變化的問題，並且我們可以處理可變數量的車道。

通過估算車道實例，即哪些像素屬於哪條車道，我們希望將它們中的每一個轉換為參數描述。為此，曲線擬合演算法被廣泛用於文獻中。流行的模型是三次多項式[32]，[25]，樣條曲線[1]或布盧姆曲線[10]。為了在保持計算效率同時提高組合的質量，通常使用變換[39]將圖像轉換為「鳥瞰」圖像並在那裡執行曲線擬合。通常，變換矩陣是在單個圖像上計算的，並保持固定。但是，如果地平面變化較大（例如通過傾斜上坡），則該固定變換不再有效。為了彌補這種情況，我們在對曲線進行擬合之前對圖像應用透視變換，與現有的依靠固定變換矩陣進行透視變換的方法相反，我們訓練一個神經網路來輸出變換係數。神經網路將圖像作為輸入，並針對車道配合問題量身定製一個損失函數進行優化。

該方法的一個固有優點是對路面變化具有魯棒性，並且為了更好地擬合車道而特別進行了優化。整個識別過程的概述可以在圖1中看到。我們的貢獻可以總結如下：（1）分支的多任務體系結構，將車道檢測問題作為實例分割任務來處理，處理車道變化和允許推斷任意數量的車道。特別地，車道分割分支輸出密集的每像素車道段，而車道嵌入分支進一步將分段的車道像素分解成不同的車道實例。（2）給定輸入圖像的網路估計透視變換的參數，透視變換允許車道擬合對路面變化具有魯棒性，例如，上坡/下坡。