本文首發於公眾號：計算機視覺

life。原文鏈接：乾貨 | LIDAR、ToF相機、雙目相機如何科學選擇？

本文提綱

  • 感測器參數及定義
  • LIDAR & ToF 相機 & 雙目相機介紹
  1. 工作原理
  2. 優缺點
  • 採樣數據比較
  • 測試及極端情況測試

三維成像技術原理和應用想必大家在之前的文章中了解過啦，今天想給大家比較一下LIDAR、ToF 相機以及雙目相機，並且還有一些直觀的測試數據來展示各自的優缺點，是騾子是馬拉出來溜溜！

感測器參數及定義

如何評判感測器的好壞呢？這是有統一的標準的，劃分為性能參數和非性能參數。下面分別介紹一下。

性能參數

先說一下性能參數，這個大家比較關心，主要有以下幾個方面：

  • 視場角（Field of view）：感測器可感知的角度，包括垂直視場角和水平視場角
  • 密度（Density） ：在兩個採樣點之間的角度步長（angular step size）

一般縱向橫向密度有所不同，一般在整個系統中視場角越大，密度就會越小

  • 解析度（Resolution）：視場角和密度的乘積
  • 距離精確度（Depth accuracy）： 距離精確度能夠反映測量距離和實際距離的偏差 （要與解析度區分），它是感測器的一個重要參數。解析度很高的感測器可以分辨細節特徵，即使距離有一些偏差。感測器可以有高的解析度但距離精確度一般
  • 解析度（Depth resolution）： 沿著測量坐標軸下的可測量距離
  • 最大最小探測距離（Minimum and maximum range）： 感測器的可感知距離

與材料、環境光亮度、反射率有關

  • 幀率（Frame Rate）： 每秒的幀數

反映獲取數據的速度

非性能參數

不要小看非性能參數，它也會限制在實際中的應用。

  • 尺寸 重量 功率
  • 成本
  • 封裝

使感測器隔絕外界灰塵，防水濺以及水浸入

  • 通信介面

一般有乙太網、USB、法爾介面、CAN匯流排、串口

物理介面一般使用乙太網

  • 同步

硬體、軟體（廣播觸發、網路定時）、無同步

  • 軟體介面
  • 還有一些其他的參數 例如溫度、健康報告、慣性測量單元、通用輸入輸出等

終端使用對權重的影響

在不同的應用場景下我們要知道什麼是最重要的參數，例如室內地面機器人需要檢測障礙物，避免碰撞，這時垂直視場角最重要。下面表格中展示了一些應用場景下重要的參數，橘色是重要的，黃色是相對重要的。

舉幾個例子：

地圖測繪---可測量最大距離

強調安全性的系統---幀率，因為需要及時獲取三維數據進行判斷

UAV（Unmanned Aerial Vehicle）---重量

UGV（Unmanned Ground Vehicle）---垂直視場角、最小探測距離

LIDAR

原理

LIDAR工作原理是發射激光到物體表面，然後接收物體的反射光信號，比較與初始激光的不同從而計算出距離。單束LIDAR利用旋轉鏡等機械部件可在兩個方向上機械轉向掃描。如下圖所示

也有無掃描部件的固態LIDAR的研究，但目前還不能商業化，現在主要是用單點或者機械掃描小數目的點。

優點有：

  • 探測距離遠，探測範圍在10m到2km之間，距離主要取決於激光的能量和脈衝持續時間
  • 有固定的誤差模型，誤差在厘米級別
  • 水平視場角通常很寬，是因為有旋轉鏡或者可旋轉的發射器和探測器Velodyne公司的LIDAR（左圖）水平視場角是363°，但垂直視場角很小，Carnegie Robotics SL（右圖）有270度球面視場角

  • 垂直視場角可以很大，這取決於機械部件和激光光束的安置

缺點有：

  • 成本高，目前低成本的LIDAR仍未出現，目前LIDAR發展趨勢是低成本、小型化、固態化
  • 密度非對稱且掃描到的點數有限
  • 發射光束受環境干擾，相對被動成像技術來說更易受雨雪天氣影響
  • 有移動部件，含有不平整的窗口，給封裝帶來困難
  • 掃描耗時，無法即刻獲取數據，且需要後期處理來補償機械部件導致的運動模糊誤差

ToF相機

ToF相機採用的是連續波調製，比較物體返回信號和發射信號的相位差可得距離信息，可實現像素級別測量。

zamb是最大可測量距離，根據公式可知小的頻率有更大探測距離。如下圖所示

一般來說光探測器解析度較低，測量距離有限，可增大光的發射功率來增大發射距離，

一般常用正弦波信號，但是正弦波相位每隔2π就會重複，這意味著接收信號有重疊，影響測量準確性，

所以可以採用多個調製頻率，真實距離就是多個調製頻率共同測到的值，但這會導致追蹤反射信號時間變長，從而增加了信噪比，並且在相機或物體運動的情況下造成運動漂移。

當然ToF相機也有很多優點：

  • 場景紋理豐富與否不影響測量
  • 具有即時的垂直水平視場角
  • 距離誤差是線性的
  • 對於運動的障礙物產生的陰影較窄
  • 無移動部件

缺點有：

  • 相比於雙目解析度更低，
  • 積分時間長會增加信噪比，若相機或被測物體運動則產生運動模糊
  • 受多路徑光線返回的影響深度數據畸變
  • 環境光過強影響反射信號的探測
  • 視場角一般小於60度
  • 輸出的是點雲數據並非圖像

雙目立體視覺相機

雙目原理與ToF完全不同，雙目成像類似於人的雙眼，通過左右相機的拍攝圖像的差異（視差）來確定距離，這種差異與物體的遠近距離成反比，就像你會覺得距離近的物體會移動的更多，無限遠的物體幾乎不動一樣。

提前標定可以得到畸變參數和相機基線距離、焦距等參數，那麼我們就可以利用視差來計算出物體的距離，這就是對應點匹配。因此對應點匹配的準確度是深度信息準確度的關鍵。

目前有許多方案來解決對應點匹配問題，比較新的方法是神經網路，但它還不是一種非常穩健高效的方案。

另一個需要強調的是相機有視差搜索範圍（disparity search range），如果不指定視差搜索範圍，許多演算法的性能會下降。大的視差搜索範圍意味著相機能夠看清更近的物體，但是計算量增大，將使得相機幀率下降。

與其他相機相比，雙目優點有：

  • 無移動部件，僅由兩張二維照片獲得深度信息，解析度和採樣密度沒有限制，如果想增加解析度，雖然會使得演算法計算量增加，校正過程也變得繁瑣，但並不存在物理性限制
  • 可以很靈活的選擇視場角和基線，垂直視場角可以很大，調節範圍在10到230度
  • RGB圖像信息與深度信息同時可以從雙目相機中獲得，而配有RGB攝像頭的ToF相機還需要兩種數據的融合。

但是，雙目也存在一些缺點：

  • 雙目的準確性受表面紋理影響，成像非常依賴物體表面的紋理，所以雙目適用於紋理豐富的場景，或者採用主動成像的方法——用帶有圖案的結構光投影，通過反射回來的變形圖案來來解決對應點匹配的問題。雙目相機在測繪和安保領域有重要作用，因為在這些工作場景紋理信息很豐富。
  • 兩個相機視野中的障礙物有所不同，因此會產生重影
  • 由於雙目基於三角法原理，因此隨著距離的增加，誤差是非線性的，這比LIDAR的線性誤差還要糟糕，需要在後期演算法處理中進行建模補償從而提高準確性，不過這也和雙目相機沒有探測的最大距離限制有關

三維採樣數據比較

該數據來自來自the DARPA Robotics Challenge

在機器人走樓梯的場景下，分別利用DARPA的掃描型LIDAR和MIT SL雙目感測器的三維數據進行機器人的足跡規劃來爬樓梯。在視頻正常播放速度下，SL能夠讓機器人移動的很快，並且沒有碰到障礙物，但是掃描型LIDAR必須要隨時間加速數據，但視場角很寬廣，能夠看到整個場景，而SL只能看到一部分。

接下來是在人靠近棋盤並拿起棋子的場景下，對LIDAR、ToF相機、雙目相機進行測試。

LIDAR

視場角較寬；但捕捉並且確認人類困難；水平和垂直方向的密度不均勻；

返回像素混疊（mixed-pixel returns），LIDAR接收到桌子部分返回的信號和地板返回的信號但無法分辨它們，於是給出了一個錯誤的中間值

可以看到這個數據實時性更好，但點雲稀疏。LIDAR掃描速率越快，實時性就會好，但數據點會比較稀疏，反之想要得到細節更豐富的場景掃描速率就會慢。

總而言之，得益於它的測量距離長並且視場角寬廣，LIDAR適用於汽車、飛機等高速交通工具和需要高轉向速率的系統。

ToF相機

低成本相機：

低解析度、低幀率；視場角窄；棋子不可見；

手電筒效應，採用紅外線發射器，可以看到照亮了近距離的物體，但背景非常暗；

二分之一的地板消失；存在mid-air returns

工業相機：

高解析度、高幀率；近距離物體失真；有物體遮擋的牆面彎曲；

由於多路徑信號返回導致地板失真；混合像素返回（mixed-pixel returns）

總體來看，ToF相機適合室內環境的使用，例如對近距離物體的掃描和手勢識別。

雙目相機

視場角寬，高幀率；數據密度高，可看清棋盤上的棋子；能輸出與場景匹配的顏色圖像；

由於鏡面反射導致出現地面以下的數據點；棋子在牆上有影子導致牆面部分圖像失真

總的來說，雙目相機適用於環境光充足的戶外環境，或者用於不能夠主動投射光的軍事應用。

3D感測器測試

對於ToF和雙目感測器來說，它們小巧便攜，且成本低廉，在室內環境里優勢格外突出。

接下來我們會定量地測試這些感測器性能表現，比較它們的不同，並展示一些極端情況下的性能結果。

ToF&雙目室內場景比較

這個場景是室內的玄關，可以看到地面和牆面較低的部分，還包括一些地面上的物品，如滅火器和急救箱。

兩個相機拍攝的圖是俯視方向，來自同一角度。

雙目視場角比較寬，對距離稍微遠一些的牆面和地面上的物品也可以看到，細節和距離遠遠超過ToF相機，但是牆面有缺失，且牆面上的紋理沒有還原出來。

ToF相機能夠接收到比較強的近距離反射信號，所以對近距離的牆面還原度很好，但是遠距離信號弱，在加上雜訊的影響導致無法識別。

這兩幅圖拍攝方向都是在探測器之上，並向下傾斜一些。

我們可以看到，雙目水平垂直視場角都很寬闊，無論近距離遠距離物體都能探測到，對場景細節的重現很豐富。

而ToF相機在對沒有紋理的牆壁更能準確成像，但對遠距離的場景無法成像。

極端情況測試

在少數特殊情況下，感測器性能可能會出現下降，例如在駕駛這樣的安全性要求極高場景下，即使是小概率極端情況也會造成嚴重的後果，因此我們也要關注這些情況下的性能。

這個場景里有瓷磚地板、玻璃等特殊材質，ToF相機接收到的可能是多次折射後的光線，會有散射畸變，因此圖裡會出現牆壁彎曲和地板凹陷。

在50m的隧道里釋放煙霧，用3D激光器和雙目相機進行測試，右圖是激光器和雙目的彩色點雲數據俯視圖，雙目相機成像類似人眼，因此在煙霧中準確性會下降，但仍然能夠分辨出物體。而激光在煙霧中傳播距離大大降低，性能急劇下降。

雙目採用的二維RGB相機會有過曝光現象，當強光直接射進鏡頭導致反射和散射，出現光暈，從而丟失一些數據，但不會影響其他區域數據的採集的準確性。

不同的材料測試

室內環境中物品雜亂，那這些不同材質的物品會對性能有影響嗎？so我們採集36個室內環境常見的材料對LIDAR、ToF相機、雙目相機分別在環境光和鹵素紅外線強照明兩種條件下進行測試。

A廠家LIDAR測試圖

LIDAR對於環境光照明和紅外線照明具有相似的性能表現，但LIDAR存在一個奇怪的現象，如圖中藍色方框里，會有一個向相機靠近的2.5cm的偏移。

B廠家LIDAR測試圖

B廠家比A廠家LIDAR雜訊在環境光下多50%，在紅外線強照明下多40%。經比較A廠家的LIDAR性能更好，看來不同廠家的產品差距還是挺大的。

雙目相機測試圖

雙目相機基線距為7cm，可以看到對於紋理較少的黃銅、鏡子等的成像雜訊很多，這也證實了雙目確實不適合紋理較少的場景。

總結

人無完人，當然也沒有任何場景都適用的超能三維感測器，它們都會有限制條件和極端情況，所以不能直接照搬別人的方案，其他人用了這個感測器有不錯的效果，不意味著在你的應用場景下會有同樣好的效果，畢竟如人飲水冷暖自知呀。

如何找到你心中的完美3D感測器呢？那就得知道哪些是和應用相關的重要的性能參數和非性能參數，要了解在應用中會出現哪些極端情況，比較這些感測器在極端情況下工作狀況如何，有時候可能需要犧牲一兩個特性參數去優化最重要的那個參數。

在此提供一些資源供大家參考：

Carnegie Robotics

carnegierobotics.com/ev

carnegierobotics.com/su

一些公司&產品列表


推薦閱讀：
相关文章