以VR、AR甚至是MR（混合現實）為代表的新一代技術，改變了人機交互的方式，而3D感知就是帶來這種變化最大的核心技術。通過3D感知，用戶可以看到逼真的虛擬物體和真實世界的物體疊加在一起，可同時和虛擬及真實物體進行互動，且雙方也會發生交互。具備了3D感知的智能終端設備，就是用戶手中的一扇混合現實視窗，而其界面就是攝像頭。

VR、無人機領域方興未艾，AR市場波瀾又起，並且由AR眼鏡、頭盔等獨立設備發展為配備智能手機的AR工具。2017年11月28日下午，華為榮耀在北京工業大學奧林匹克體育館舉行發布會，推出了華為稱之為「點雲深度攝像頭」的散斑結構光手機配件—Jupiter X（舜宇內部料號）。

一、水煮：微軟之所以停產Kinect

創立於 2005 年的 PrimeSense 是一家主要通過視覺，讓數字設備獲得對真實世界三維感知能力的無廠半導體公司。憑藉低成本、高性能的結構光 3D 機器視覺技術，讓這家公司成為了消費市場的領軍人物，微軟正是基於 PrimeSense 深度攝像技術，開發出了 Kinect。Kinect 上市三年之後，2013 年蘋果公司以大約 3.6 億美元的價格，收購了 PrimeSense。然而，這個60 天 800 萬套銷量，吉尼斯世界紀錄上銷售速度最快的消費電子產品來自於一款遊戲周邊——微軟的體感操控設備 Kinect，且累計銷量截至目前，已經超過了 3500 萬臺，卻於2017年10月25日，微軟宣佈Kinect下架。Why？

1、場地限制。Kinect受制於主動照明和環境光幹擾，需在在室內場景，且需要2*3平米的使用空間，這種對場景的要求就限制了其遊戲應用範圍；

2、精度限制。Kinect的3D測量精度對於高精度指向性的遊戲難以滿足定位要求，諸如槍戰等遊戲無法勝任；

3、內容限制。Kinect的遊戲設計建立在動作的較大幅度的視覺定位基礎上，而之前許多的手柄遊戲無需大幅運動就可以通過手柄按鍵及遙感完成遊戲虛擬對象的驅動，這對於那些喜歡躺在沙發或是地板上的用戶缺少長期吸引力；

4、用戶面窄。Kinect的隔空打虎式的人體姿態估計驅動遊戲內容的方法，對於喜歡機械按鍵與手柄的具有力量傳遞的觸感用戶來說，缺少了觸覺的貼切感知感。

5、其他應用領域未打開。Kinect寄希望於在無人駕駛領域打開市場，最終仍未搭上谷歌無人車的順風。

6、結構光與TOF等3D感知模組越發的成熟，在硬體器件方面，微軟無法獲得高額利潤，反而成了半導體晶元製造廠商的輸血來源；對應的3D成像演算法的發展並不樂觀，而這部分也在受到其他競爭對手的追趕與超越，砍掉不具備壟斷價值的硬體模塊繼續發展演算法技術成了必然選擇。

綜上，Kinect在遊戲領域的應用受到自身、環境及受用對象的使用習慣限制等，市場熱度與接受度持續下滑，微軟放棄kinect也就在所難免。

二、成福：無心插柳柳成蔭

從產品的角度出發，Kinect 已經走到了生命週期的終點，但顯然，從 Kinect 的研發中所獲得的經驗以及技術，是其貢獻給微軟以及業界重要的財富。例如，微軟的 HoloLens AR 眼鏡、Windows Hello 面部識別系統中，均應用到了 Kinect 的相關技術。

作為在體感控制探索道路上的先行者，7 年前 Kinect 面市的時候，全新的產品形態帶給了人們足夠想像的空間以及啟發性。

近期，在 iPhone X 上所使用的 Face ID 功能，其工作原理和 早期的Kinect相同，均使用結構光實現3D成像。而其所使用的結構光技術的最初提供者，正是此前為 Kinect 提供技術支持者PrimeSense 公司。Kinect 上市三年之後，2013 年蘋果公司以大約 3.6 億美元的價格，收購了 PrimeSense。所以 Face ID 在原理上與 Kinect 有相同點，也就不足為奇。

在蘋果的iphoneX推出前後，結構光和飛行時間及雙目3D成像這3種3D成像方式成為許多人的關注點，主要原因還是在於蘋果可以持續引領未來趨勢，這點在後來的指紋識別被3D人臉識別所替代而遭到市場冷落可以進步說明。蘋果選擇結構光大概也有幾點原因（詳細對比可查閱：深度感知解決方案 | 深度攝像頭的三種主流技術優劣對比）：

1、雙目方案，成本相對另外兩種方案最低，深度信息依賴純軟體演算法或是專用晶元計算得出，它也繼承了普通RGB攝像頭的缺點：在昏暗環境下以及特徵不明顯的情況下並不適用，受光照，物體紋理性質影響明顯。Leap公司2013年發布的Leap Motion體感控制器，以及英特爾的RealSense就應用了這個技術。以Leap Motion為例說明該方案的主要結構：Leap Motion有紅外LED+兩個攝像頭，利用雙攝像頭捕獲的圖像差別和三角測量演算法，形成三維立體圖片，而LED燈用於加強目標和背景的亮度對比，使得識別更為準確。

2、結構光方案優勢在於體積小，功耗小，且目前應用相對比較成熟，很多激光雷達和3D掃描都應用此技術。缺點是由於結構光方案通過折射光的落點位移來取得位置信息，在現有技術條件下深度信息的精度還不夠，對識別的距離也有嚴格的要求，容易受到太陽光、玻璃反射的紅外光等環境光線的幹擾，戶外使用很困難。以色列公司PrimeSense在很早以前就開始研發3D感測器，微軟2009年與PrimeSense合作發布的Kinect 一代就應用了結構光技術，該公司又於2013年被蘋果3.6億美元收購。

3、TOF其實是相對結構光和雙目視覺來說受環境影響最小的技術，響應速度快、深度信息精度高。TOF相比結構光，其成熟度相對低，其對光源要求更高，一般為垂直腔面發射激光器（VCSEL，High Power VCSEL Array(TOF)），同時解析度較低且成本高。但由於其實時性高，不需要額外增加計算資源，幾乎無演算法開發工作量，是未來iphone後置3D成像器件的首選。其主要結構包括紅外發光二極體、紅外光圖像感測器、可見光景深相機、處理晶元等，與結構光設備基本一致。微軟2013年發布的Kinect 2代就是採用這種方案。Kinect2代是微軟在1代之後自行研發出的3D感知產品，大大改善了1代中存在的成像模糊，動作識別不敏銳等問題。

前期考慮結構光主要應該為相比較於TOF的成熟度和相對於雙目的抗噪能力等優點上。

三、國內3D成像器件誰主沉浮？

谷歌的Tango、蘋果的AR Kit，巨頭公司分別針對Android和iOS系統推出了配備智能手機的AR產品。2016年6月，聯想在TechWorld 2016大會上正式推出了搭載谷歌Tango的全球首款消費級AR智能手機——聯想Phab 2 Pro；Phab 2 Pro機身背部除了一顆標準的1600萬像素攝像頭，還有兩個額外的攝像頭，一個用來感知景深，一個進行運動追蹤，可以實時為用戶周圍的環境進行3D建模，並在手機屏幕上呈現出增強現實的效果。2017年6月，蘋果在WWDC 2017大會上推出針對 iOS 11的AR Kit，AR Kit支持大部分的蘋果設備，依靠優秀的SLAM演算法，不需要額外的硬體配置，在單目攝像頭環境下就可以完成一定的增強現實功能，為今後iOS移動端的巨大AR平臺的搭建提供堅實基礎，迎來AR領域一次質的飛躍。

眾多前沿領域的應用將越來越依賴深度攝像頭，就好像VR、機器人、安防等為了得到更精準的體驗，這也是為什麼國際巨頭都在佈局於此的原因。深度攝像頭(又稱3D感測器)從視覺數據獲取的角度提升機器感知能力。由於其具有一定的技術門檻，國內外涉足此研發的比較少。集中在國外有蘋果、微軟、谷歌、INTEL、Oculus、SONY，國內奧比中光、華捷艾米，圖漾，樂行天下等。目前，深度攝像頭已經渡過技術基礎期，方向明確了，將進入3-5年的成長期，未來將掀起3D感測器的浪潮。

依據海通證券行業研究報告信息披露，2017年前置結構光3D攝像頭硬體成本在15美元左右，隨著3D攝像頭的普及，規模效應將逐漸顯現，預計2020年硬體成本變為8美元左右；後置TOF時間光3D攝像頭由於在硬體方面比結構光簡單，因此成本略低，預計2017年成本約為11美元，預計到2020年硬體成本將變為6美元左右。

奧比中光（單目結構光）：該公司推出的3D深度攝像頭產品有Astra和Astra-Mini，此兩款已經量產，後續還會推出更加小型化的Astra-E以及Astra-P，可運用於手機、平板、無人機、VR/AR等。Astra系列深度攝像頭主要由一個紅外攝像頭、一個激光器和一個RGB攝像頭組成，如圖所示。

　圖漾（雙目+結構光）：圖漾的方案採用的是兩個紅外攝像頭加一個激光器進行深度信息測量，模組下圖所示：

樂行天下（TOF）：該公司開發的RGBD 3D視覺深度攝像頭設備採用一顆TOF深度攝像頭以測量視覺範圍內的景物深度信息和輪廓信息，還有另外一顆普通RGB拍照攝像頭，用於獲得物理表面紋理信息，兩者結合就可以很好的判斷前方物體距離和形狀，再配合樂行自主開發的人物識別、人臉識別、輪廓分離、骨骼追蹤、動作識別等演算法，可應用於機器人定位和導航、VR/AR手勢識別、體感遊戲、三維建模、工業智能化檢測等等領域。（更多詳情請閱智慧產品圈發布的《揭祕國內獨家TOF深度攝像頭，助力機器人避障與室內導航》一文。）其模塊如圖所示：

有望取代激光雷達引發機器人及VR內容應用革命。深度攝像頭最知名的消費級應用是體感攝像頭，如微軟XBOX遊戲機的體感攝像頭Kinect。微軟的HOLOLENSE也大量採用了深度攝像頭。深度攝像頭最熱的領域是機器人，自動駕駛，AR/VR，智能安防，智能家居，消費娛樂等，它們對深度攝像頭有著非常巨大的需求。機器人的導航主要有無線定位、激光雷達、視覺導航、慣性導航以及超聲波等方式。隨著3D感測器的發展，視覺導航有望成為最主流的方式。

本次3D成像浪潮中，上述國內初創公司雖已經上市3D成像模塊，但距離成熟的手機端應用所需要的成熟度還是有一定的距離，這種距離差距一樣面來自初創公司的技術沉澱不足以快速堆積創新形成產品；另一方面，對於手機移動端的3D成像模組未能快速上市，也與其自身的體量有關，華為，oppo，vivo，小米等國內大塊頭終端機集成商對於初創公司的研發能力存在懷疑；更深層次的原因在於，這些大廠認為，3D成像模組屬於手機端的戰略核心器件，更希望自身具有較多的掌控權，在其掌握3D成像演算法資源後，這種3D結構光成像模組本身的核心技術就在於製造封裝，而製造封裝的優勢卻是傳統光電企業所具有的。相對與初創公司，大廠的研發設計及演算法公關能力更為強勁，在3D成像演算法方面積累及與高校科研機構合作更為深入，繞開初創公司，與傳統光電製造商直接合作，獲取更快更成熟且更低價的3D模組便成為必然。對於這部分初創公司，能否敲開中小企業的大門，成為這輪3D大戰能否勝出的關鍵。

對於基於TOF器件的3D成像模組的初創企業，由於核心器件為意法或是TI等國外半導體公司，這些初創公司的核心競爭力將演化為為不具備演算法研發實力的中小企業提供演算法支持，這些中小企業將利用自己的硬體製造優勢，直接使用TOF器件和VSCEL生產成像模組，兩者結合形成產品，這些初創公司的生存空間將被壓縮，是否能找到3D成像模組的垂直應用產品，直接面向C端用戶成為未來存活與發展的關鍵。舜宇光學，歐菲光，水晶光電，邱泰，匯頂科技等傳統光電在其公告中也都有表示3D成像模組處於研發中。

VR、無人機領域方興未艾，AR市場波瀾又起，並且由AR眼鏡、頭盔等獨立設備發展為配備智能手機的AR工具。2017年11月28日下午，華為榮耀在北京工業大學奧林匹克體育館舉行發布會，推出了華為稱之為「點雲深度攝像頭」的散斑結構光手機配件—Jupiter X（舜宇內部料號）。

「點雲深度攝像頭」可以感知用戶臉部的深度，對用戶的臉部建模，識別精度達到亞毫米級別，從而達到高精度及安全性的人臉識別。

此外，藉助結構光技術，榮耀 V10可以實現 3D 人臉建模和人臉識別，同時還有 3D 面部表情控制以及 3D 小物體建模。

Jupiter X，舜宇智能光學提供了包括光學設計、結構設計、ID設計、圖像處理等嵌入式軟體系統開發的解決方案。

四、總之

從觸摸屏到語音助手到指紋識別，iPhone引領了智能手機的進化方向。當2017年推出的10週年版的 iPhone X將3D深度感知變成必備配件時，3D感知的普及也就是時間問題，華為榮耀V10將這一時間大大的縮短。對於3D成像器件產業而言，結構光初創公司能否儘快推出移動端產品並獲得手機大廠的青睞，是其能否與傳統光電巨頭競爭分羹的關鍵；基於TOF的初創公司是否能找到3D成像模組的垂直應用產品，直接面向C端用戶成為未來存活與發展的關鍵。得益於這些微小的半導體晶圓，智能手機將變成一個溝通現實和虛擬世界的窗口，替換滑鼠、觸摸屏，創造新的人機交互方式。

參考：

1、不得不看！國內深度攝像頭方案大起底-智慧產品圈

2、深度攝像頭已過基礎期_行業新聞_中安網

3、【西南電子】舜宇光學科技（2382.HK）深度--邁向浪潮之巔的大陸光學領導者--智能汽車

4、智能光學大事件 | 華為榮耀V10：全球首款「散斑結構光」手機配件發布—Jupiter X

5、蘋果3d視覺深度分析：龍頭全新意志，開啟消費電子「AI+AR」新時代 - MBA智庫文檔

推薦閱讀：