路徑規劃問題在機器人控制方面有著很重要的作用，許多經典方法可以大致分為兩方面：按照平面拓撲地圖進行預先規劃和進行實時圖像採集實時規劃，這兩個方法各有利弊，第一種方法非常有效，然而需要繪製比較精密的地圖否則不能進行很好的規劃，在建築物內部產生變化的時候就會失效。第二種方法可以很好地躲避障礙物，然而在複雜的幾何空間內不能高效地到達目的地。作者將兩者的有點結合到一起做了一個折中，用地圖簡圖代替平面拓撲圖，在實時進行路徑規劃的同時利用攝像機捕捉到的圖像進行障礙物躲避。

Intention-Net: Integrating Planning and Deep Learning for Goal-Directed Autonomous Navigation，本文來自

Intention-Net: Integrating Planning and Deep Learning for Goal-Directed Autonomous Navigation?

arxiv.org

說起來容易做起來難，你可以嘗試想一下如何把抽象地圖和實時攝像頭畫面結合到一起進行導航。我個人的經驗僅限於social force model這樣的經典法（牆壁和障礙物產生排斥力，目標產生吸引力，一種類似於物理現象的自組織行為）。這樣做的缺點恰好就在於無法隨機應變躲開突然出現的障礙物或者應付稍稍變化的幾何空間結構。

作者的思路是把實時圖像和核心的路徑規劃大方向揉到一起，順著這個思路，那就是兩個圖片通過某net提純成高維向量，然後合併向量最後全連接產生控制行為。第一個需要用到的圖必然是攝像頭採集到的數據，第二個圖作者用了兩種辦法：方法一是對照機器人在草圖上的實時位置計算機器人指向和大致方向的夾角，根據夾角給出向前向左向右三個動作（下圖b），方法二是直接把機器人在草圖上的附近區域摳出來（下圖c）。

方法一叫DLM net（discretized local move），如下圖所示輸入實時圖片到R去掉全連接的Resnet，和動作的one-hot向量，二者結合後得出每個動作的速度和輪子需要調整的角度，再用one-hot（1*4）向量去乘（4*2）矩陣得到最終結果

方法二叫LPE-net(local path and environment)，如下圖所示，將實時圖片和局部草圖通過共享參數的resnet後拼接然後得到速度和輪子需要調整的角度。需要注意的是兩個圖都是224*224的

要訓練網路當然離不開大量的數據，所以作者通過模擬模擬軟體和真實世界人工操控來得到數據。先用手工畫出2D拓撲圖然後用軟體生成三維世界。真實世界選取了某辦公區域，當然在真實世界實驗中機器人需要攜帶激光定位器來確定實時位置。

作者選區了三個主流的導航方法來進行對比：Dynamic window法，純路徑規劃法，純實時圖像法。在設計不同複雜的幾何空間來進行測試，下圖中淺藍色的粗線代表撞到障礙物或者走不出去的情況。

可以看到，上圖中是resnet第9，18和50層輸出的圖形。可以看出第九層輸出的是牆壁和地板天花板之間的界限。後面的圖層就很深奧了看不太出來。然後為了提高魯棒性，系統實時計算著需要行進的大方向。最終通過對比可以發現DLM和LPE都能很好地完成任務。本篇文章的主要啟示是多層次學習任務需要巧妙將兩個層面的東西結合到一起，就像LPE中的孿生Resnet網路，如果不共享參數，恐怕會非常難得到好的結果。

推薦閱讀：