語義SLAM開源代碼匯總
之前做的深度學習閉環檢測 這方面,最近想了解下語義這方面,於是總結了一些開源的語義SLAM代碼共後面研究:
參考:Ewenwan/MVision
1.CNN (PSPNet) + ORB_SLAM2 語義SLAM Real time semantic slam in ROS with a hand held RGB-D camera
源碼:Ewenwan/semantic_slam
2.DynaSLAM
3.動態語義SLAM 目標檢測+VSLAM+光流/多視角幾何動態物體檢測+octomap地圖+目標資料庫
源碼:Ewenwan/ORB_SLAM2_SSD_Semantic
【這個很全做得很好】
4.ORB-SLAM-RGBD-with-Octomap
Ewenwan/ORB-SLAM-RGBD-with-Octomap
5.利用光流和語義分割來進行 動態環境建模
Ewenwan/DynSLAM
6.DynaSLAM:基於ORB-SLAM2修改 動態環境建模
dynamic environments for monocular, stereo and RGB-D setups
源碼:Ewenwan/DynaSLAM
主要思想
利用 語義分割信息 和 幾何信息得到的 動/靜分割信息,剔除部分不可靠的 關鍵點來使得 跟蹤 變得更可靠
使用mask-rcnn獲取 語義分割信息
使用 運動點 判斷準則 獲取 動/靜 mask
結合 語義mask 和 動/靜 mask 生成 需要剔除的 mask
在構造幀 的時候 對 提取的關鍵點 進行濾波,刪除 不可靠的 關鍵點,使得 跟蹤更可靠
思考
1. 是否可以 結合 光流 來生成 動/靜 mask ,不過要考慮相機自身的運動引起的光流
2. 如果用於導航,僅僅依靠orb關鍵點,數量不夠,是否可以 添加 邊緣 關鍵點檢測演算法
7.Co-Fusion CRF圖像分割 + ElasticFusion(RGBD-SLAM)
Ewenwan/co-fusion
8.rgb-slam + 語義分割mask-rcnn
Ewenwan/maskfusion
9.卷積-反卷積語義分割cnn(基於caffe) + ElasticFusion(稠密SLAM) + CRF融合
Ewenwan/semanticfusion
10.ORB SLAM2 + 拓撲地圖 路徑規劃導航
Ewenwan/Active-ORB-SLAM2
11.RNN語義分割+KinectFusion=3 d Semantic Scene
Ewenwan/DA-RNN
12.semanticfusion
zbqlalala/semanticfusion
13.SIVO - Semantically Informed Visual Odometry and Mapping.
Integrated Bayesian semantic segmentation with ORBSLAM_2 to select better features for Visual SLAM.
navganti/SIVO
推薦閱讀: