路径规划问题在机器人控制方面有著很重要的作用，许多经典方法可以大致分为两方面：按照平面拓扑地图进行预先规划和进行实时图像采集实时规划，这两个方法各有利弊，第一种方法非常有效，然而需要绘制比较精密的地图否则不能进行很好的规划，在建筑物内部产生变化的时候就会失效。第二种方法可以很好地躲避障碍物，然而在复杂的几何空间内不能高效地到达目的地。作者将两者的有点结合到一起做了一个折中，用地图简图代替平面拓扑图，在实时进行路径规划的同时利用摄像机捕捉到的图像进行障碍物躲避。

Intention-Net: Integrating Planning and Deep Learning for Goal-Directed Autonomous Navigation，本文来自

Intention-Net: Integrating Planning and Deep Learning for Goal-Directed Autonomous Navigation?

arxiv.org

说起来容易做起来难，你可以尝试想一下如何把抽象地图和实时摄像头画面结合到一起进行导航。我个人的经验仅限于social force model这样的经典法（墙壁和障碍物产生排斥力，目标产生吸引力，一种类似于物理现象的自组织行为）。这样做的缺点恰好就在于无法随机应变躲开突然出现的障碍物或者应付稍稍变化的几何空间结构。

作者的思路是把实时图像和核心的路径规划大方向揉到一起，顺著这个思路，那就是两个图片通过某net提纯成高维向量，然后合并向量最后全连接产生控制行为。第一个需要用到的图必然是摄像头采集到的数据，第二个图作者用了两种办法：方法一是对照机器人在草图上的实时位置计算机器人指向和大致方向的夹角，根据夹角给出向前向左向右三个动作（下图b），方法二是直接把机器人在草图上的附近区域抠出来（下图c）。

方法一叫DLM net（discretized local move），如下图所示输入实时图片到R去掉全连接的Resnet，和动作的one-hot向量，二者结合后得出每个动作的速度和轮子需要调整的角度，再用one-hot（1*4）向量去乘（4*2）矩阵得到最终结果

方法二叫LPE-net(local path and environment)，如下图所示，将实时图片和局部草图通过共享参数的resnet后拼接然后得到速度和轮子需要调整的角度。需要注意的是两个图都是224*224的

要训练网路当然离不开大量的数据，所以作者通过模拟模拟软体和真实世界人工操控来得到数据。先用手工画出2D拓扑图然后用软体生成三维世界。真实世界选取了某办公区域，当然在真实世界实验中机器人需要携带激光定位器来确定实时位置。

作者选区了三个主流的导航方法来进行对比：Dynamic window法，纯路径规划法，纯实时图像法。在设计不同复杂的几何空间来进行测试，下图中浅蓝色的粗线代表撞到障碍物或者走不出去的情况。

可以看到，上图中是resnet第9，18和50层输出的图形。可以看出第九层输出的是墙壁和地板天花板之间的界限。后面的图层就很深奥了看不太出来。然后为了提高鲁棒性，系统实时计算著需要行进的大方向。最终通过对比可以发现DLM和LPE都能很好地完成任务。本篇文章的主要启示是多层次学习任务需要巧妙将两个层面的东西结合到一起，就像LPE中的孪生Resnet网路，如果不共享参数，恐怕会非常难得到好的结果。

推荐阅读：