自動駕駛研發的標註工具 標註數據已經成了做深度學習應用的一大負擔(看看下面的標註開銷),數據不足模型訓練就成問題。只是想著transfer learning,就想著model tuning省事也不是長久之計。 標註工具是一個重要的平臺,好的工具能夠事半功倍,特別是交互界面做得好簡直就是優秀的軟體產品。記得以前在三星工作時候,標註目標分割的工具還有一個功能,它還能時不時測試一下標註員是不是走神不專心,發一些有ground truth的測試圖片:)。英偉達的標註團隊在印度,聽說有700人。現在一些大公司也提供標註數據業務,比如百度自動駕駛團隊。也有一些創業公司發展這個業務,比如灣區Scale.API就跟很多大公司有合作關係,最近Nutonomy-Aptiv公司就和它合作發布了開源數據NuScenes(不是打廣告)。 還有一家公司Playment,也是提供自動駕駛數據標註的服務,包括圖像和點雲數據,像語義分割,障礙物檢測,道路標記等等都能做。 其實好的標註工具是有演算法的,需要標註的地方是演算法不完美,會有錯誤,但是如果人工介入,可以減輕演算法求解問題的難度。比如以前Adobe工具就有一些功能,比如在物體邊緣處滑鼠勾畫一個輪廓,然後演算法就會基於此把物體完美地「摳」出來,貼到另外一個背景,其實就是分割問題的互動式工作。有陣子,的確出現了各種「Cut」演算法:)。再比如,我們需要把一個灰度圖像著色,不管是機器學習的還是圖像處理的演算法,還是不容易控制著色過程。有時候,人可以滑鼠畫一些color scribbles,表明這些區域顏色接近這些,那麼演算法就能很快完成彩色過程。筆者以前參與過volume rendering方面的項目,當時就非常驚訝一些交互工具的軟體功能非常強,比如可以直接定義切割volume的橫截面,然後就用滑鼠操作展示截面的信息,顏色表做的也是十分鮮艷「有味道」,讓客戶看的舒服。自動駕駛所需的HD Map製作也需要工具標註語義信息,一些半自動的標註方法會減少製圖的時間和勞力成本。自動提取運動物體,如車輛行人,自動檢測交通標誌或者紅綠燈,自動檢測車道線和路標(斑馬線,箭頭,限速)等。下面介紹一些標註工具,開源的。另外也談談如何開發好的標註工具給自動駕駛研發提供平臺。 1 Annotorious - Image Annotation for the Webhttps://github.com/annotorious/annotorious/releases/tag/v0.6.4 2 Comma.AI coloring}https://commacoloring.herokuapp.com/}https://github.com/commaai/commacoloring 3 JS Segment Annotator}https://github.com/kyamagu/js-segment-annotator 4 LabelMe: the open annotation tool }http://labelme.csail.mit.edu/Release3.0/ 5 Yolo_Mark: GUI for marking BBs}https://github.com/AlexeyAB/Yolo_mark. 6 Alp』s Labeling Tool (ALT)https://alpslabel.wordpress.com/2017/01/26/alt/ 7 Alp』s IMage Segmentation Tool (AIMS) }https://alpslabel.wordpress.com/2017/03/28/alps-image-segmentation-tool-aims/ 8 Alp』s Labels to Images converter, for Detectnet/KITTIAlp』s Labels to Images converter, for Detectnet/KITTI?alpslabel.wordpress.com 9 RectLabel for object detectionhttps://itunes.apple.com/jp/app/rectlabel-labeling-images-for-object-detection/id1210181730?mt=12?itunes.apple.com 10 VGG Image Annotator (VIA) Visual Geometry Group / via?gitlab.com 11 LEAR: Image annotation tool with image masks https://lear.inrialpes.fr/people/klaeser/software_image_annotation 12 Fast Image Data Annotation Tool (FIAT)christopher5106/FastAnnotationTool?github.com 13 A Universal Labeling Tool: Sloth}https://github.com/cvhciKIT/sloth; 14 Video Annotation Tool from Irvine, Californiahttps://github.com/cvondrick/vatic 15 VOTT: Video Object Tagging Tool (Microsoft)https://github.com/Microsoft/VoTT/ 16 IAT – Image Annotation Tool IAT – Image Annotation Tool 17 A Video Metadata Markup Tool: ViPER-GTViPER-GT?viper-toolkit.sourceforge.net 18 LabelDsweppner/labeld?github.com 19 Imglab (dlib)davisking/dlib?github.com 20 Annotation tool of Lidar Point Coud dataLCAS/cloud_annotation_tool?github.com 21 LiDAR annotation tool using ray tracing and bounding boxesbernwang/LiDAR-annotator 3D to 2D Label Transfer 如果有3-D數據標註工具,那麼從激光雷達點雲可確定物體的3-D bounding box,而圖像的物體標註可以通過以上3-D信息直接得到。 Automatic Image Labeling from Weak 3D Supervision 同樣,如何通過已經提取的3-D信息自動產生圖像標註也是一個有價值的課題,比如下圖從已給出的一些標註信息(3-D Bbox)加速/完成物體分割的任務。 其思路就是把已完成的標註信息當作先驗知識,在MRF框架下求解分割。 Auto-Annotation of 3D Object 反過來,如果我們有2-D圖像標註的結果,能否自動將它反投射到3-D空間完成點雲的3-D BBox?如果是多視角的圖像輸入,那就可以。 還是基於MRF模型,求解這個檢測問題。 這裡用ImageNet的數據pre-train了一個圖像目標檢測器。 Annotating Object Instances with a Polygon-RNN 設計一個半自動標註工具做segmentation,不是pixel labeling那樣,而是多邊形框。那麼,確定多邊形的vertex會容易,同時採用演算法從一個矩形框去預測多邊形框,就是加快標註不錯的方法。 下面圖示的RNN模型就是能預測新加的vertex位置: -------------End----------- 推薦閱讀: 相關文章 {{#data}} {{title}} {{/data}}