今天的amazon go刷爆了國內外的社交**。
amazon go令人驚豔的地方,就是你可以徑直走進超市,選好貨品之後立馬離開,不用在收銀台前排長長的隊伍,等待結賬。
甚至還莫名有一種從商店「搶劫」的快感。
我們說,移動支付顛覆了既有商品交易方式,那麼這種「搶劫式」的amazon go甚至連「交易感」都消滅了。
總之,人們被這種新奇的似乎隱含了某種黑科技的新型購物方式所吸引。不僅是普通人,就連斯坦福教授李飛飛、著名科技出版公司o'reilly創始人tim o'reilly都特地發推點贊。
李飛飛:計算機視覺十分顯著和絕妙的應用!
tim o'reilly:零售業的未來,我對此已經期待很多年了。
amazon go的亮點
使用者進入商店,穿過閘機的時候開啟手機讓其識別,這時手機裡的系統啟動,並隨時準備更新物品清單。令人驚豔的部分就是,在使用者拿走或放回物品的一瞬間,手機裡的系統會自動更新清單。最後,使用者拿著物品滿意地離開,手機自動扣款。
不過在quora上,有一位名為brian roemmele的網友挖出了幾年前亞馬遜提交的兩份專利檔案,裡面描繪的系統跟如今的amazon go非常相似。這兩份檔名稱為:「偵測物體互動和移動」(detecting item interaction and movement)和「物品從置物裝置上的轉移」(transitioning items from the materials handling facility),兩檔案分別於2023年和2023年申請。
這兩份專利檔案都描繪了十分龐雜的應用場景,包括:貨倉、船運、零售市場等,所以很多人當初在看到這份檔案時,都以為這是亞馬遜為自己的倉儲系統量身定製的,不過今天一切真相大白。
這兩份專利分別講了什麼?
「偵測物體互動和移動」(detecting item interaction and movement)這份專利的摘要是:
使用者從乙個貨架上拿起或放下乙個物品,貨物管理系統可以偵測到這個動作,並且更新使用者移動裝置裡的清單。「物品從置物裝置上的轉移」(transitioning items from the materials handling facility)這份專利的摘要是:
物品被識別,並且當使用者正在拿起物品時,物品自動與使用者發生關聯。當使用者進入或穿過乙個「轉移區」(transition area),被拿起的物品將自動轉移到使用者,而不需要使用者有任何的輸入。總的來說就是,被識別的物體與使用者發生關聯,能自動更新清單,並在「轉移區」進行自動交易(「轉移區」在amazon go裡指的就是商店的出口)。
我們可以從下面一張圖里,一窺amazon go的基本原型。
圖中代號為208的物體都是攝像頭,大約有10多個(有一些被人體擋住)。208攝像頭分別置於天花板(如圖左右兩邊各有乙個比較大的攝像頭)、貨架兩側和貨架內部。檔案裡描述到,天花板上的208用來採集使用者和貨品的位置、貨架兩側的208用來捕捉使用者的影象和周圍的環境,貨架內的208用來確定貨品的位置或使用者手的移動(進入和離開貨架)。
另外,專利檔案裡還補充道:這裡的攝像頭可以是多種型別的,可以是rgb攝像頭,或深度感知攝像頭。除了攝像頭之外,也可以有其他輸入裝置,比如壓力感測器、紅外感測器、體積位移感測器、光幕等等。壓力感測器可以偵測物品移出和進入的時間,紅外感測器可以用來區分使用者和的手和物品。
我們具體並不清楚amazon go到底在多大程度上使用了計算機視覺技術。比如說,當使用者進出商店時,都需要對使用者進行識別,檔案裡反覆提到可以用人臉識別技術實現,但是又會繼續補充說明可以通過手機等移動裝置來偵測。
quora網友anurag ranjan是一位機器視覺和深度學習領域的準phd,他分析稱:
amazon go使用商店裡的攝像頭識別出了使用者,可能針對使用者拍了幾張**,依靠一些標準的深度學習網路形成了一幅特徵圖,比如resnet,、googlenet或者vgg這樣的。總之,當使用者踏進店裡的那一刻起,amazon go就知道使用者長什麼樣了。但是根據專利和既有經驗來看,在整個過程中用計算機視覺來追蹤使用者,代價太高了。我們大致可以確定的是,貨架上的一排排攝像頭應該就是對使用者進行「動作識別」,並且識別出物體是否被拿走(這裡也或許是感測器實現的)。
不過整個過程中的難點是,如何將物品與使用者進行唯一繫結?
雲從科技高階演算法工程師周翔稱,amazon go具體用到哪些技術,目前我們只能夠猜測,他提到可能的實現機制是:
• 通過手機做到了精準定位人,然後物體的具體位置可以大概確定,一旦人附近的物品離開,同時最近的人的id就會關聯這個物品id。
• 置物架肯定用到了壓力感測器,一旦物品離開,就會明確知道什麼物品在什麼地點離開,一旦物品回來,壓力感測器同樣會感應到。
• 深度學習可能是學習了人的購物習慣,可能用到計算機視覺做了人的動作識別,然後根據物品與人的id進行關聯,也就是二次確認。同時分析乙個人的購物喜好,推測他會買的東西,提前做一些預判。
周翔提出,可能amazon go根本沒有用到人臉識別的技術,「國外對人臉的隱私權是比較高的,未經允許採集他人的人臉會被起訴的」。在李飛飛的那篇推文下,有網友對此持牴觸態度,認為如果是人臉採集,侵犯了自己的隱私。
不過這種技術究竟有多少「實操性」,還是存在很多的疑惑的,例如:
• 如果好幾個人擠到一起買同一類東西(比如商場打折搶貨,這是經常發生的),那麼物品與人的id關聯還能保持精準嗎?
• 如果使用者把商品放回的位置是錯的呢,這樣也會被收費嗎?
• 如果有人搞怪,將自己家空果汁瓶取代商店裡的新鮮果汁,那麼amazon go識別的出來嗎?
「所以,這裡要求購物的人得非常有素質才行」,周翔說道。我們對amazon go的諸多疑惑,或許過幾個月就能在西雅圖見分曉。
白及:我認為在目前我們it行業的技術國內完全能實現,但是國人的素質有待堪憂,不過這種比較新潮的思維我比較喜歡能接受!
無人超市老闆 牛野分析
隨著科技的發展,越來越多的行業採用機器代替人類的工作,現在又有了無人自助超市這一構想,那麼無人自助超市怎麼開呢?小編帶著這樣的疑問,問了路口那就無人超市的老闆 牛野。牛野作為一家無人超市的老闆告訴我們一些比較高科技的無人超市的原理。問 牛野老闆,請問客戶購買你家超市的東西需要幾重掃碼才upvdbng...
支付寶要做中國版Amazon Go 開無人超市?
螞蟻金服支付寶班委俞峰在今日的分享會上表示,螞蟻經過反省和思考,想清楚了自己要做什麼 聚焦核心競爭力 支付寶的核心能力是交易 回歸商業和金融,用五年時間推動無現金社會和信用城市建設。另外,他還提到支付寶會做跟亞馬遜的體驗店 amazon go 有點像的東西,已經在做連線。支付寶會做得比較輕一點,比如...
「無人超市」熱潮 主要依靠網路技術
閱讀原文 摘要 以往在人類幻想的未來世界中,人工智慧 ai 科技經常出現,例如智慧型機械人 無人駕駛的交通工具等融入生活之中,而無人管理的商店則已經在真實世界裡出現。近年隨著網路和人工智慧的發展,企業開始計畫利用虛擬智慧型助理 virtual personal assistant 負責管理倉庫的機械...