无人超市有好几种,估计传统的RFID等方案不是你感兴趣的,那就拿目前商用AI视觉方案的业界标杆Amazon Go来举例吧。

无人店的核心技术问题就是:Who took what. 我们按照进店购物的流程一步步看这个问题是如何解决/判断的。

Amazon 「Just walk out technology」 Overview

1. 进店闸口处刷Amazon app的二维码,摄像头把闸口位置识别到的你的人体和你的帐号关联。出于隐私和安全的原因,Amazon没有用人脸识别,也不会采集保存你的体态信息,它只在你每次到店购物时进行关联。所有摄像头的视频流上传到AWS云端实时处理,本地会先做预处理减少带宽需求。 2. OK,进店后如何对个人进行跟踪呢?这里需要用到Person Re-identification行人重识别技术,可以保证同一个人在店内购物期间行走轨迹维持同一个ID。

3. 货架前顾客的购物动作怎么识别的呢?首先我们需要用3D Pose Estimation解析明确的个人手部动作和手部位置。

3D Pose Estimation

Who Took What

4. 顾客是拿取还是放回怎么判断呢,Amazon会截取手部在靠近货架的视频片段作为Activity Analysis模型的输入来辅助判断。因为顾客的动作千变万化且遮挡情况复杂,Amazon用模拟器生成了大量的合成视频数据来训练模型。

5. 还要识别手部拿的是什么商品?这时目标检测器(例如Faster RCNN, YOLO之类的)可以出马了,同时加入视频目标检测(Video Object Detection)和多目标跟踪(MOT)修正误识别。 6. 屋顶的多个摄像头角度不同可能得到结果也不一样, 需要用多摄像头校正(Camera Calibration)技术进行融合得到更准确的结果。

Amazon Go店面一般150平方米左右,屋顶有约200个摄像头。

货架上有几千个摄像头

7. 由于视觉有盲点和故意遮挡的情况,异常时会加入货架上重力等多种感测器Sensor fusion进行裁判融合。

重力感测器

8. 判断结果同步到顾客后台电子购物车。9. 顾客离开超市后推送最后的账单到App。

以上,

都是我编的。


大家只知道 4

2017年高价聘请的美国亚马逊Amazon Go 人工智慧便利店最高华人科学家也是阿里集团无人便利店的最高科学家任晓枫是怎么消失的。。。


从理解上说,无人超市更像是一款大型的电子产品,只是载体不一样罢了

回归实际,无人超市依靠人脸识别或者指纹之类的,本身你注册后这个系统就会有相关个人数据存在,当然,这个系统还有产品的数据存在,当你拿走东西,这个产品就会进入备选通道,当付款之后,产品就会进入到指定提取口


其实吧,这个问题很好回答,

当顾客将商品拿到结算台结算的时候,解散系统会识别商品上的电子标签,而每个电子标签都是唯一的,解散完成后,在系统的后台会有资料库的判断,唯一的电子标签结算之后就会有另外一种状态,后台资料库会提示库存运维系统,该商品已结算完成,是已出售状态,在通道门处,系统会再次检测,获取到已出售的商品的唯一的电子标签,就可以判断顾客是否拿走了商品,是否完成了结算,同时,店铺运营者也可以知道,顾客购买的是什么商品,那个商品在减少,哪个商品类目需要补货!

这些都是系统后台在记录,以维护无人便利店设备的正常运营!


个人觉得这个视频里的讨论很详细,上海云拿是个失败的典型,最可怕的是它还不知悔改继续骗人,与之相比同时上海的简24无人超市就要好得多,虽然开始也想骗投资人但是起码还是具备基本的科学伦理,最后它总裁林捷终于还是承认了自己技术上的很多硬伤和不足,光这一点就值得很多无人超市从业者学习。

挑战在美国无人超市里「偷」东西,会有什么后果?_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili?

www.bilibili.com图标

京东无人超市我知道的至少两个bug,严重到免费拿东西,随便拿,不扣钱那种


推荐阅读:
相关文章