之前做的深度學習

閉環檢測 這方面,最近想了解下語義這方面,於是總結了一些開源的語義SLAM代碼共後面研究:

參考:Ewenwan/MVision

1.CNN (PSPNet) + ORB_SLAM2 語義SLAM Real time semantic slam in ROS with a hand held RGB-D camera

源碼:Ewenwan/semantic_slam

2.DynaSLAM

3.動態語義SLAM 目標檢測+VSLAM+光流

/多視角幾何動態物體檢測+octomap地圖+目標資料庫

源碼:Ewenwan/ORB_SLAM2_SSD_Semantic

【這個很全做得很好】

4.ORB-SLAM-RGBD-with-Octomap

Ewenwan/ORB-SLAM-RGBD-with-Octomap

5.利用光流和語義分割來進行 動態環境建模

Ewenwan/DynSLAM

6.DynaSLAM:基於ORB-SLAM2修改 動態環境建模

dynamic environments for monocular, stereo and RGB-D setups

源碼:Ewenwan/DynaSLAM

主要思想

利用 語義分割信息 和 幾何信息得到的 動/靜分割信息,剔除部分不可靠的 關鍵點來使得 跟蹤 變得更可靠

使用mask-rcnn獲取 語義分割信息

使用 運動點 判斷準則 獲取 動/靜 mask

結合 語義mask 和 動/靜 mask 生成 需要剔除的 mask

在構造幀 的時候 對 提取的關鍵點 進行濾波,刪除 不可靠的 關鍵點,使得 跟蹤更可靠

思考

1. 是否可以 結合 光流 來生成 動/靜 mask ,不過要考慮相機自身的運動引起的光流

2. 如果用於導航,僅僅依靠orb關鍵點,數量不夠,是否可以 添加 邊緣 關鍵點檢測演算法

7.Co-Fusion CRF圖像分割 + ElasticFusion(RGBD-SLAM)

Ewenwan/co-fusion

8.rgb-slam + 語義分割mask-rcnn

Ewenwan/maskfusion

9.卷積-反卷積語義分割cnn(基於caffe) + ElasticFusion(稠密SLAM) + CRF融合

Ewenwan/semanticfusion

10.ORB SLAM2 + 拓撲地圖 路徑規劃導航

Ewenwan/Active-ORB-SLAM2

11.RNN語義分割+KinectFusion=3 d Semantic Scene

Ewenwan/DA-RNN

12.semanticfusion

zbqlalala/semanticfusion

13.SIVO - Semantically Informed Visual Odometry and Mapping.

Integrated Bayesian semantic segmentation with ORBSLAM_2 to select better features for Visual SLAM.

navganti/SIVO


推薦閱讀:
相关文章