無人駕駛技術入門（十四）| 初識圖像之初級車道線檢測

前言

上一期的無人駕駛技術入門，我們以障礙物的跟蹤為例，介紹了卡爾曼濾波器的原理、公式和代碼的編寫。接下來的幾期無人駕駛技術入門，我會帶大家接觸無人駕駛技術的另一個重要的領域——計算機視覺。

在無人駕駛技術入門（五）| 沒有視覺感測器，還談什麼無人駕駛？中，我介紹了車載視覺感測器能夠實現車道線、障礙物、交通標誌牌、可通行空間、交通信號燈的檢測等。這些檢測結果都離不開計算機視覺技術。

本次分享，我將以優達學城（Udacity）無人駕駛工程師學位中提供的初級車道線檢測項目為例，對課程中使用到的計算機視覺技術進行分享。分享內容包括OpenCV庫的基本使用，以及車道線檢測中所用到的計算機視覺技術，包括其基本原理和使用效果，以幫助大家由淺入深地了解計算機視覺技術。

正文

在介紹計算機視覺技術前，我想先討論一下這次分享的輸入和輸出。

輸入

一張攝像機拍攝到的道路圖片，圖片中需要包含車道線。如下圖所示。

圖片出處：https://github.com/udacity/CarND-LaneLines-P1/blob/master/test_images/whiteCarLaneSwitch.jpg

輸出

圖像坐標系下的左右車道線的直線方程和有效距離。將左右車道線的方程繪製到原始圖像上，應如下圖所示。

輸出結果

在輸入和輸出都定義清楚後，我們就開始使用計算機視覺技術，一步步完成對原始圖像的處理。

原始圖像

認識圖像前，我們需要先回顧一下在初中所學的物理知識——光的三原色，光的三原色分別是紅色（Red）、綠色（Green）和藍色（Blue）。通過不同比例的三原色組合形成不同的可見光色。如下圖所示。

圖片出處：https://zhidao.baidu.com/question/197911511.html

圖像中的每個像素點都是由RGB（紅綠藍）三個顏色通道組成。為了方便描述RGB顏色模型，在計算機中約束了每個通道由暗到亮的範圍是0~255。

當某個像素點的R通道數值為255，G和B通道數值為0時，實際表現出的顏色就是最亮的紅色；當某個像素點的RGB三通道都為255時，所表示的是最亮的白色；當某個像素點的RGB三通道都為0時，就會顯示最暗的黑色。在RGB顏色模型中，不會有比[255,255,255]的組合更亮的顏色了。

根據以上理論基礎，一幅彩色圖像，其實就是由三幅單通道的圖像疊加，如下圖所示。

圖片出處：優達學城（Udacity）無人駕駛工程師學位

以基於python的OpenCV為例，讀取名為test_img.jpg的圖片到計算機內存中的代碼如下：

import cv2 img = cv2.imread(image_name.jpg)

讀取圖像後，我們可以將圖像看做一個二維數組，每個數組元素中存了三個值，分別是RGB三個通道所對應的數值。

OpenCV定義了，圖像的原點（0，0）在圖片的左上角，橫軸為X，朝右，縱軸為Y，朝下，如下圖所示。

原始圖像

需要注意的是，由於OpenCV的早期開發者習慣於使用BGR順序的顏色模型，因此使用OpenCV的imread()讀到的像素，每個像素的排列是按BGR，而不是常見的RGB，代碼編寫時需要注意。

灰度處理

考慮到處理三個通道的數據比較複雜，我們先將圖像進行灰度化處理，灰度化的過程就是將每個像素點的RGB值統一成同一個值。灰度化後的圖像將由三通道變為單通道，單通道的數據處理起來就會簡單許多。

通常這個值是根據RGB三通道的數值進行加權計算得到。人眼對RGB顏色的敏感度不同，對綠色最敏感，權值較高，對藍色最不敏感，權值較低。坐標為(x,y)的像素點進行灰度化操作的具體計算公式如下：

圖像灰度處理計算公式

調用OpenCV中提供的cvtColor()函數，能夠方便地對圖像進行灰度處理

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 由於使用cv2.imread()讀到的img的數據排列為BGR，因此這裡的參數為BGR2GRAY

灰度處理後的圖像如下圖所示：

灰度處理

邊緣提取

為了突出車道線，我們對灰度化後的圖像做邊緣處理。「邊緣」就是圖像中明暗交替較為明顯的區域。車道線通常為白色或黃色，地面通常為灰色或黑色，因此車道線的邊緣處會有很明顯的明暗交替。

常用的邊緣提取演算法有Canny演算法和Sobel演算法，它們只是計算方式不同，但實現的功能類似。可以根據實際要處理的圖像，選擇演算法。哪種演算法達到的效果更好，就選哪種。

以Canny演算法為例，選取特定的閾值後，對灰度圖像進行處理，即可得到的邊緣提取的效果圖。

low_threshold = 40 high_threshold = 150 canny_image = cv2.Canny(gray, low_threshold, high_threshold)

Canny邊緣提取

感興趣區域選擇

邊緣提取完成後，需要檢測的車道線被凸顯出來了。為了實現自車所在車道的車道線檢測，我們需要將感興趣的區域（Region of Interest）提取出來。提取感興趣區域最簡單的方式就是「截取」。

首先選定一個感興趣區域，比如下圖所示的藍色三角形區域。對每個像素點的坐標值進行遍歷，如果發現當前點的坐標不在三角區域內，則將該點塗「黑」，即將該點的像素值置為0。

感興趣區域選定

為了實現截取功能，可以封裝一下OpenCV的部分函數，定義一個region_of_interest函數：

def region_of_interest(img, vertices): #定義一個和輸入圖像同樣大小的全黑圖像mask，這個mask也稱掩膜 #掩膜的介紹，可參考：https://www.cnblogs.com/skyfsm/p/6894685.html mask = np.zeros_like(img)

#根據輸入圖像的通道數，忽略的像素點是多通道的白色，還是單通道的白色
if len(img.shape) > 2:
channel_count = img.shape[2] # i.e. 3 or 4 depending on your image
ignore_mask_color = (255,) * channel_count
else:
ignore_mask_color = 255

#[vertices]中的點組成了多邊形，將在多邊形內的mask像素點保留，
cv2.fillPoly(mask, [vertices], ignore_mask_color)

#與mask做"與"操作，即僅留下多邊形部分的圖像
masked_image = cv2.bitwise_and(img, mask)

return masked_image

源碼出自：https://github.com/udacity/CarND-LaneLines-P1/blob/master/P1.ipynb

封裝完函數後，我們將感興趣的區域輸入，實現邊緣提取後的圖像的截取。

#圖像像素行數 rows = canny_image .shape[0] 540行 #圖像像素列數 cols = canny_image .shape[1] 960列 left_bottom = [0, canny_image .shape[0]] right_bottom = [canny_image .shape[1], canny_image .shape[0]] apex = [canny_image .shape[1]/2, 310] vertices = np.array([ left_bottom, right_bottom, apex ], np.int32) roi_image = region_of_interest(canny_image, vertices)

截取後的圖像入下圖所示：

感興趣區域截取

霍夫變換

經過灰度處理、邊緣檢測、感興趣區域截取後，我們終於將左右車道線從複雜的圖像中提取出來了。接下來，我們使用霍夫變換來提取圖像中的直線（段）。

霍夫變換是一種特徵檢測方法，其原理和推導過程可以參看經典霍夫變換（Hough Transform）。

在圖像中使用霍夫變換不僅能夠識別圖像中的直線，還能識別出圖像中的圓、橢圓等特徵。OpenCV為我們提供了霍夫變換檢測直線的函數，可以通過設置不同的參數，檢測不同長度的線段。由於車道線存在虛線的可能，因此線段的檢測長度不能設置地太長，否則短線段會被忽略掉。

OpenCV的霍夫變換直線檢測函數使用方法如下：

rho = 2 # distance resolution in pixels of the Hough grid theta = np.pi/180 # angular resolution in radians of the Hough grid threshold = 15 # minimum number of votes (intersections in Hough grid cell) min_line_length = 40 #minimum number of pixels making up a line max_line_gap = 20 # maximum gap in pixels between connectable line segments # Hough Transform 檢測線段，線段兩個端點的坐標存在lines中 lines = cv2.HoughLinesP(roi_image, rho, theta, threshold, np.array([]), min_line_length, max_line_gap)

封裝一個繪圖函數，實現把線段繪製在圖像上的功能，以實現線段的可視化

def draw_lines(img, lines, color=[255, 0, 0], thickness=2): for line in lines: for x1,y1,x2,y2 in line: cv2.line(img, (x1, y1), (x2, y2), color, thickness) # 將線段繪製在img上

將得到線段繪製在原始圖像上

import numpy as np line_image = np.copy(img) # 複製一份原圖，將線段繪製在這幅圖上 draw_lines(line_image, lines, [255, 0, 0], 6)

結果如下圖：

霍夫變換直線檢測

可以看出，雖然右車道線的線段不連續，但已經很接近我們想要的輸出結果了。

數據後處理

霍夫變換得到的一系列線段結果跟我們的輸出結果還是有些差異。為了解決這些差異，需要對我們檢測到的數據做一定的後處理操作。

實現以下兩步後處理，才能真正得到我們的輸出結果。

計算左右車道線的直線方程根據每個線段在圖像坐標系下的斜率，判斷線段為左車道線還是右車道線，並存於不同的變數中。隨後對所有左車道線上的點、所有右車道線上的點做一次最小二乘直線擬合，得到的即為最終的左、右車道線的直線方程。
計算左右車道線的上下邊界考慮到現實世界中左右車道線一般都是平行的，所以可以認為左右車道線上最上和最下的點對應的y值，就是左右車道線的邊界。

基於以上兩步數據後處理的思路，我們重新定義draw_lines()函數，將數據後處理過程寫入該函數中。

def draw_lines(img, lines, color=[255, 0, 0], thickness=2): left_lines_x = [] left_lines_y = [] right_lines_x = [] right_lines_y = [] line_y_max = 0 line_y_min = 999 for line in lines: for x1,y1,x2,y2 in line: if y1 > line_y_max: line_y_max = y1 if y2 > line_y_max: line_y_max = y2 if y1 < line_y_min: line_y_min = y1 if y2 < line_y_min: line_y_min = y2 k = (y2 - y1)/(x2 - x1) if k < -0.3: left_lines_x.append(x1) left_lines_y.append(y1) left_lines_x.append(x2) left_lines_y.append(y2) elif k > 0.3: right_lines_x.append(x1) right_lines_y.append(y1) right_lines_x.append(x2) right_lines_y.append(y2) #最小二乘直線擬合 left_line_k, left_line_b = np.polyfit(left_lines_x, left_lines_y, 1) right_line_k, right_line_b = np.polyfit(right_lines_x, right_lines_y, 1)

#根據直線方程和最大、最小的y值反算對應的x
cv2.line(img,
(int((line_y_max - left_line_b)/left_line_k), line_y_max),
(int((line_y_min - left_line_b)/left_line_k), line_y_min),
color, thickness)
cv2.line(img,
(int((line_y_max - right_line_b)/right_line_k), line_y_max),
(int((line_y_min - right_line_b)/right_line_k), line_y_min),
color, thickness)

根據對線段的後處理，即可得到符合輸出要求的兩條直線方程的斜率、截距和有效長度。將後處理後的結果繪製在原圖上，如下圖所示：