無人超市有好幾種,估計傳統的RFID等方案不是你感興趣的,那就拿目前商用AI視覺方案的業界標杆Amazon Go來舉例吧。

無人店的核心技術問題就是:Who took what. 我們按照進店購物的流程一步步看這個問題是如何解決/判斷的。

Amazon 「Just walk out technology」 Overview

1. 進店閘口處刷Amazon app的二維碼,攝像頭把閘口位置識別到的你的人體和你的帳號關聯。出於隱私和安全的原因,Amazon沒有用人臉識別,也不會採集保存你的體態信息,它只在你每次到店購物時進行關聯。所有攝像頭的視頻流上傳到AWS雲端實時處理,本地會先做預處理減少帶寬需求。 2. OK,進店後如何對個人進行跟蹤呢?這裡需要用到Person Re-identification行人重識別技術,可以保證同一個人在店內購物期間行走軌跡維持同一個ID。

3. 貨架前顧客的購物動作怎麼識別的呢?首先我們需要用3D Pose Estimation解析明確的個人手部動作和手部位置。

3D Pose Estimation

Who Took What

4. 顧客是拿取還是放回怎麼判斷呢,Amazon會截取手部在靠近貨架的視頻片段作為Activity Analysis模型的輸入來輔助判斷。因為顧客的動作千變萬化且遮擋情況複雜,Amazon用模擬器生成了大量的合成視頻數據來訓練模型。

5. 還要識別手部拿的是什麼商品?這時目標檢測器(例如Faster RCNN, YOLO之類的)可以出馬了,同時加入視頻目標檢測(Video Object Detection)和多目標跟蹤(MOT)修正誤識別。 6. 屋頂的多個攝像頭角度不同可能得到結果也不一樣, 需要用多攝像頭校正(Camera Calibration)技術進行融合得到更準確的結果。

Amazon Go店面一般150平方米左右,屋頂有約200個攝像頭。

貨架上有幾千個攝像頭

7. 由於視覺有盲點和故意遮擋的情況,異常時會加入貨架上重力等多種感測器Sensor fusion進行裁判融合。

重力感測器

8. 判斷結果同步到顧客後台電子購物車。9. 顧客離開超市後推送最後的賬單到App。

以上,

都是我編的。


大家只知道 4

2017年高價聘請的美國亞馬遜Amazon Go 人工智慧便利店最高華人科學家也是阿里集團無人便利店的最高科學家任曉楓是怎麼消失的。。。


從理解上說,無人超市更像是一款大型的電子產品,只是載體不一樣罷了

回歸實際,無人超市依靠人臉識別或者指紋之類的,本身你註冊後這個系統就會有相關個人數據存在,當然,這個系統還有產品的數據存在,當你拿走東西,這個產品就會進入備選通道,當付款之後,產品就會進入到指定提取口


其實吧,這個問題很好回答,

當顧客將商品拿到結算台結算的時候,解散系統會識別商品上的電子標籤,而每個電子標籤都是唯一的,解散完成後,在系統的後台會有資料庫的判斷,唯一的電子標籤結算之後就會有另外一種狀態,後台資料庫會提示庫存運維繫統,該商品已結算完成,是已出售狀態,在通道門處,系統會再次檢測,獲取到已出售的商品的唯一的電子標籤,就可以判斷顧客是否拿走了商品,是否完成了結算,同時,店鋪運營者也可以知道,顧客購買的是什麼商品,那個商品在減少,哪個商品類目需要補貨!

這些都是系統後台在記錄,以維護無人便利店設備的正常運營!


個人覺得這個視頻里的討論很詳細,上海雲拿是個失敗的典型,最可怕的是它還不知悔改繼續騙人,與之相比同時上海的簡24無人超市就要好得多,雖然開始也想騙投資人但是起碼還是具備基本的科學倫理,最後它總裁林捷終於還是承認了自己技術上的很多硬傷和不足,光這一點就值得很多無人超市從業者學習。

挑戰在美國無人超市裡「偷」東西,會有什麼後果?_嗶哩嗶哩 (゜-゜)つロ 乾杯~-bilibili?

www.bilibili.com圖標

京東無人超市我知道的至少兩個bug,嚴重到免費拿東西,隨便拿,不扣錢那種


推薦閱讀:
相关文章