自動駕駛研發的標註工具
標註數據已經成了做深度學習應用的一大負擔（看看下面的標註開銷），數據不足模型訓練就成問題。只是想著transfer learning，就想著model tuning省事也不是長久之計。
標註工具是一個重要的平臺，好的工具能夠事半功倍，特別是交互界面做得好簡直就是優秀的軟體產品。記得以前在三星工作時候，標註目標分割的工具還有一個功能，它還能時不時測試一下標註員是不是走神不專心，發一些有ground truth的測試圖片：）。
英偉達的標註團隊在印度，聽說有700人。現在一些大公司也提供標註數據業務，比如百度自動駕駛團隊。也有一些創業公司發展這個業務，比如灣區Scale.API就跟很多大公司有合作關係，最近Nutonomy-Aptiv公司就和它合作發布了開源數據NuScenes（不是打廣告）。
還有一家公司Playment，也是提供自動駕駛數據標註的服務，包括圖像和點雲數據，像語義分割，障礙物檢測，道路標記等等都能做。
其實好的標註工具是有演算法的，需要標註的地方是演算法不完美，會有錯誤，但是如果人工介入，可以減輕演算法求解問題的難度。
比如以前Adobe工具就有一些功能，比如在物體邊緣處滑鼠勾畫一個輪廓，然後演算法就會基於此把物體完美地「摳」出來，貼到另外一個背景，其實就是分割問題的互動式工作。有陣子，的確出現了各種「Cut」演算法：）。
再比如，我們需要把一個灰度圖像著色，不管是機器學習的還是圖像處理的演算法，還是不容易控制著色過程。有時候，人可以滑鼠畫一些color scribbles，表明這些區域顏色接近這些，那麼演算法就能很快完成彩色過程。
筆者以前參與過volume rendering方面的項目，當時就非常驚訝一些交互工具的軟體功能非常強，比如可以直接定義切割volume的橫截面，然後就用滑鼠操作展示截面的信息，顏色表做的也是十分鮮艷「有味道」，讓客戶看的舒服。
自動駕駛所需的HD Map製作也需要工具標註語義信息，一些半自動的標註方法會減少製圖的時間和勞力成本。自動提取運動物體，如車輛行人，自動檢測交通標誌或者紅綠燈，自動檢測車道線和路標（斑馬線，箭頭，限速）等。
下面介紹一些標註工具，開源的。另外也談談如何開發好的標註工具給自動駕駛研發提供平臺。
1 Annotorious - Image Annotation for the Web
https://github.com/annotorious/annotorious/releases/tag/v0.6.4
2 Comma.AI coloring
}https://commacoloring.herokuapp.com/
}https://github.com/commaai/commacoloring
3 JS Segment Annotator
}https://github.com/kyamagu/js-segment-annotator
4 LabelMe: the open annotation tool
}http://labelme.csail.mit.edu/Release3.0/
5 Yolo_Mark: GUI for marking BBs
}https://github.com/AlexeyAB/Yolo_mark.
6 Alp』s Labeling Tool (ALT)
https://alpslabel.wordpress.com/2017/01/26/alt/
7 Alp』s IMage Segmentation Tool (AIMS)
}https://alpslabel.wordpress.com/2017/03/28/alps-image-segmentation-tool-aims/
8 Alp』s Labels to Images converter, for Detectnet/KITTI
Alp』s Labels to Images converter, for Detectnet/KITTI
9 RectLabel for object detection
https://itunes.apple.com/jp/app/rectlabel-labeling-images-for-object-detection/id1210181730?mt=12
10 VGG Image Annotator (VIA)
Visual Geometry Group / via
11 LEAR: Image annotation tool with image masks
https://lear.inrialpes.fr/people/klaeser/software_image_annotation
12 Fast Image Data Annotation Tool (FIAT)
christopher5106/FastAnnotationTool
13 A Universal Labeling Tool: Sloth
}https://github.com/cvhciKIT/sloth;
14 Video Annotation Tool from Irvine, California
https://github.com/cvondrick/vatic
15 VOTT: Video Object Tagging Tool （Microsoft）
https://github.com/Microsoft/VoTT/
16 IAT – Image Annotation Tool
17 A Video Metadata Markup Tool: ViPER-GT
ViPER-GT
18 LabelD
sweppner/labeld
19 Imglab （dlib)
davisking/dlib
20 Annotation tool of Lidar Point Coud data
LCAS/cloud_annotation_tool
21 LiDAR annotation tool using ray tracing and bounding boxes
bernwang/LiDAR-annotator
3D to 2D Label Transfer
如果有3-D數據標註工具，那麼從激光雷達點雲可確定物體的3-D bounding box，而圖像的物體標註可以通過以上3-D信息直接得到。
Automatic Image Labeling from Weak 3D Supervision
同樣，如何通過已經提取的3-D信息自動產生圖像標註也是一個有價值的課題，比如下圖從已給出的一些標註信息（3-D Bbox）加速/完成物體分割的任務。
其思路就是把已完成的標註信息當作先驗知識，在MRF框架下求解分割。
Auto-Annotation of 3D Object
反過來，如果我們有2-D圖像標註的結果，能否自動將它反投射到3-D空間完成點雲的3-D BBox？如果是多視角的圖像輸入，那就可以。
還是基於MRF模型，求解這個檢測問題。
這裡用ImageNet的數據pre-train了一個圖像目標檢測器。
Annotating Object Instances with a Polygon-RNN
設計一個半自動標註工具做segmentation，不是pixel labeling那樣，而是多邊形框。那麼，確定多邊形的vertex會容易，同時採用演算法從一個矩形框去預測多邊形框，就是加快標註不錯的方法。
下面圖示的RNN模型就是能預測新加的vertex位置：
-------------End-----------
推薦閱讀：
