2018年5月19日-20日,由LiveVideoStack音視頻技術社區出品的WebRTCon 2018在上海光大會展中心舉行。在兩天32場分享中,將有近300名的多媒體開發工程師、技術負責人、產品負責人及高端行業用戶深度參與。WebRTCon 2018聚焦WebRTC及其周邊技術生態,覆蓋教育、娛樂、醫療、安防、交通、製造、旅遊、電商、金融、社交、遊戲、智能設備、IC等行業領域。

WebRTCon 2018邀請了來自Google、TutorABC、網易雲信、英特爾、學霸君、PP雲、騰訊、噠噠英語、三體雲聯、聲網Agora、Aupera傲睿智存、相芯科技、dotEngine、Zealcomm、上海交通大學、阿里巴巴、科天雲、北京大學、即構科技、觸寶科技、愛奇藝、陌陌、優酷、唐橋科技、戰旗直播、七牛、咪咕視訊、又拍雲、華創視訊等30多位技術專家分享最新技術實踐與最佳實踐。

相芯科技(FaceUnity)作為主辦方LiveVideoStack的合作夥伴,其圖形引擎負責人蔡銳濤,在大會上給大家帶來關於《Animoji 動態表情技術實現》的技術分享,從人臉表情跟蹤、虛擬形象創建、表情動畫繪製三個方面來解讀相芯科技的解決方案。

相芯科技作為全球領先的3D數字形象技術提供商,專註於提供VR、AR和移動應用的底層支撐技術,特別是三維人臉重建、臉部動作捕捉、動畫驅動,以及從單張照片生成虛擬化身的技術。

Animoji是隨著iPhone X的發布進入大眾視野,但是由於受到原深度攝像頭的硬體限制,在其他手機上一直未能實現。隨著三星在MWC2018發布了新機 Galaxy S9 系列,它帶來了 AR Emoji,安卓手機大廠的介入,Animoji的使用場景正在不斷擴大。

▲通過相芯科技技術生成的Animoji表情

而相芯科技早在2016年就實現了Animoji技術在iOS、Android、Win、Mac全平台上的落地,而且對於用戶沒有硬體門檻,無需原深度攝像頭,也能使用Animoji功能。相芯科技目前已為200多家海內外客戶提供技術服務,產品被廣泛應用於短視頻、社交、直播、遊戲、影視、教育、醫療等領域,月均SDK鑒權調用3億多次。

相芯科技利用了人臉的先驗知識,即只是看到一個人的照片,也可以想像出這個人的長相及三維特徵。使用普通攝像頭的二維圖像作為輸入,然後基於相芯科技長期積累的大量真實的三維人臉數據,並藉助深度學習演算法,重建出人臉三維模型,進而實時地進行人臉的三維定位跟蹤。

然後通過實時精確捕捉47個面部肌肉運動,將獲得的面部表情係數同步到虛擬形象的表情上,實現實時驅動。

在近期的合作夥伴中,搜狗手機輸入法的抖臉功能,就使用了相芯科技的Animoji技術。

視頻封面

01:17

▲相芯科技為搜狗輸入法的抖臉功能提供技術支持

在會上,蔡銳濤還進一步分享了如何讓普通用戶也能自定義數字形象的解決方案,即相芯科技的自動化數字形象生成技術(Photo-to-Avatar,P2A),通過單幅人臉照片自動生成於照片人物高度匹配、栩栩如生的全動態3D虛擬形象,可提供真人版和卡通版兩種風格。今年5月,亮相央視的虛擬主持人,就是使用了相芯科技的這項技術。

▲相芯科技與科大訊飛合作的虛擬主持人

精彩的分享吸引了聽眾的互動環節拋出了各式各樣的提問,有關於技術的討論,也有關於未來合作場景的,蔡銳濤都為他們一一解答,有提問者也很直接地表示相芯科技的技術真的很牛。不少聽眾因時間限制無法提問,在分享會結束之後,開始與蔡銳濤私下交流技術問題,並提出了合作意向。在會展相芯科技展台的工作人員也為前來諮詢的訪客展示產品demo——FU Live,讓訪客更加直觀地親身體驗相芯科技的核心產品,並為訪客的功能需求對接技術解決方案。

在微信後台,回復關鍵詞「demo」,即可下載FU Live app,第一時間體驗相芯科技的產品。或點擊→FU Live下載鏈接


關於相芯科技

相芯科技,全球領先的3D數字形象技術提供商。我們為客戶提供3D數字形象生成及表情驅動、2D/3D臉部動態貼紙、智能美顏美型、手勢識別、背景分割、人像光效等SDK開發包,產品被廣泛應用於短視頻、社交、直播、遊戲、影視、教育、醫療等領域。目前已服務了百度、美圖、數字王國、獵豹移動、LiveChat等近200家海內外客戶,並與網易雲、七牛雲、聲網、網宿、金山雲等建立了深度合作關係,SDK月訪問量超過3億次。


推薦閱讀:
相关文章