揭秘Amazon Go無人商店是如何煉成的

人工智能（AI）已經(jīng)發(fā)展了多年，機器學(xué)習(xí)（ML）和深度學(xué)習(xí)也早已不是陌生的概念。

長期以來，ML技術(shù)僅限于少數(shù)大型科技公司和專業(yè)學(xué)習(xí)研究人員，但是，當(dāng)云計算進入AI領(lǐng)域之后，ML逐漸發(fā)展成為一種主流的技術(shù)。

算法、計算能力與數(shù)據(jù)的潛力被激發(fā)出來，以ML為代表的人工智能正在走向舞臺的中央，并成為金融、零售、時尚、房地產(chǎn)、醫(yī)療保健、制造業(yè)等多個行業(yè)的核心競爭力。

亞馬遜云科技早就注意到了這一臨界點的到來，因為企業(yè)中的AI/ML的用例正在顯著的增加。通過智能交互、個性化和推薦系統(tǒng)等功能，客戶體驗正在發(fā)生著顯著的變化。

比如在零售領(lǐng)域，基于AI的需求預(yù)測將錯誤減少了30-50%，同時將由于產(chǎn)品不可用導(dǎo)致的銷售額損失減少了65%。可以說AI/ML正在幫助公司做出更好、更快的決策。

Amazon本身就是一個非常好的例子。經(jīng)歷了多年ML探索實踐，Amazon成為了你今天所看到的由ML驅(qū)動的企業(yè)。ML是Amazon創(chuàng)新最重要的一個部分。隨著時間的推移，Amazon持續(xù)改進早期的簡單的個性化模型，并將其應(yīng)用到了如Amazon Prime這樣的產(chǎn)品中。這樣的轉(zhuǎn)變即便對Amazon而言也是相當(dāng)巨大的。

但是想做到這一點并不難，我們始終相信這是每個企業(yè)都可以做到的。

2015年12月5日，亞馬遜宣布推出革命性線下實體商店——Amazon Go。在2018年1月22日，Amazon Go向公眾開放。

還沒體驗過Amazon Go的魅力？那就先看看下面的這支視頻吧~

那么，Amazon Go是如何實現(xiàn)從傳統(tǒng)收銀結(jié)算，到“Just Walk Out”的跨越的呢？看看本屆INNOVATE上我們的技術(shù)大咖費老師如何解答！

在實現(xiàn)“Just Walk Out”的過程中，

我們要解決一個基礎(chǔ)的問題即

到底是哪個人，拿了哪件東西

我們的挑戰(zhàn)

看起來這是一個簡單的目標，其實擺在我們面前的是一個巨大的挑戰(zhàn)。

試想一下，商場里布滿擁擠的人群，人們在購物，孩子們四處奔跑，嬰兒車上的嬰兒還在熟睡，人們并不總是拿上商品然后離開——他們往往挑選一個商品，看看它，然后把它放回貨架上；或者有時他們把它放回另一個貨架上。

而這意味著龐大的數(shù)據(jù)處理與計算的需求。

為了解決這一問題，我們打造了這樣的架構(gòu)方案。它由流媒體服務(wù)、入口出口管理服務(wù)和Just Walk Out Technology共同組成。

這三個模塊一起幫我們解決“在人海中，到底是誰拿了哪件商品”這一“終極問題”。

首先來說流媒體服務(wù)

圖中頂部的部分代表了店鋪中部署的設(shè)備：這些設(shè)備包括了專門制作的攝像頭以及我們用于商品銷售的傳感器。

流媒體服務(wù)負責(zé)將視頻從商店中運行的攝像頭傳輸?shù)叫枰谠浦?。為了使算法發(fā)揮作用，就需要在客戶挑選或放回商品時可靠地捕捉視頻圖像以實現(xiàn)“真實時刻”。而處理視頻的算法則在亞馬遜云科技的云中運行。

一旦將視頻傳入云端，我們需要提供一種使它們可用于算法進行處理的方法。因此，我們準備了一套服務(wù)負責(zé)存儲和索引這些視頻，它們提供了視頻檢索的接口，這些接口由視頻處理應(yīng)用所使用。

此外，在現(xiàn)實世界中，事情并不總是順利運行，所以必須要處理各種各樣的意外。因此，我們也設(shè)計了檢測攝像頭故障、網(wǎng)絡(luò)延遲、和服務(wù)器故障的系統(tǒng)，來有效地處理這些故障。

基于這些高可用性、高吞吐量的服務(wù)集群們提供的基礎(chǔ)架構(gòu)，我們得以構(gòu)建“just walk out”技術(shù)。

接著我們來談?wù)劤隹谌肟诠芾矸?wù)

與傳統(tǒng)商店不同，在Amazon Go這里沒有收銀柜臺。但是，仍然需要獲得支付工具（信用卡），在客戶離開商店后，我們可以使用該工具向客戶收取費用。

為此我們建立了一種體驗，讓買家使用Amazon Go的應(yīng)用進入商店，并將他們與他們的Amazon帳戶和存儲的付款方式相關(guān)聯(lián)。我們統(tǒng)稱這些我們的“入口和出口”服務(wù)，他們負責(zé)管理客戶會話和相關(guān)付款方式。

在這個過程中，我們面臨的挑戰(zhàn)之一是需要打造感覺自然且無縫的“流暢感”。

因此我們設(shè)計了入口門的硬件和軟件，使客戶可以自然的朝下掃描二維碼，而系統(tǒng)可快速地驗證客戶身份，并打開門，所有的這一切通常在不到一秒鐘的時間內(nèi)完成。在出口上我們也做了同樣的設(shè)計，以全面的免去客戶不必要的動作。

另一個挑戰(zhàn)是如何能夠適應(yīng)現(xiàn)實世界的情況，因為現(xiàn)實中的場景比模型復(fù)雜的多。

例如，在理想的世界中，我們希望每一位客戶在進入商店時只掃描一次。然而，有時人們掃描手機，但后來他們分心，并開始與朋友交談，所以他們掃描兩次之前進入商店。我們的系統(tǒng)必須足夠聰明才能處理所有這些邊緣案例。

最后，我們需要明智地管理家庭購物的場景，或者說，一組打算共同付款的客戶。在這種情況下，某人是一組領(lǐng)導(dǎo)人，在組中的每個成員進入商店時掃描他的手機。但顯然他們中的任何人都可以隨時離開商店，所以會話管理邏輯必須在這些情況下正常工作。

因此，作為入口/出口服務(wù)的一部分，我們構(gòu)建了用于驗證客戶帳戶、組關(guān)聯(lián)和會話管理的系統(tǒng)?？偟膩碚f，這些服務(wù)的輸出是當(dāng)前在商店中處于活動狀態(tài)的一組客戶的會話以及每個服務(wù)的相關(guān)支付方式。

最后來說核心的Just Walk Out技術(shù)

“Just Walk Out”技術(shù)是架構(gòu)的核心部分。這是系統(tǒng)的大腦。它基于深度學(xué)習(xí)算法，解決的是“誰拿了什么”的問題。

首先讓我們看看如何解決“誰”這個問題。為了解決它，我們需要的是從店鋪入口到出口的客戶的全程的定位。因此這個方案中包含三個主要模塊：定位器、鏈接器和復(fù)雜狀態(tài)解析器。

在Amazon Go店鋪里布置的每個攝像頭都會產(chǎn)生一個3D點云?；跀z像頭的校準參數(shù)們將這些參數(shù)聚合為一個全局表示，并提取移動對象。當(dāng)然并非所有的移動物體對應(yīng)的都是人，還可能是籃子、推車、嬰兒車等。人員定位器查看分段的數(shù)據(jù)，并決定它是某人或者是另一個對象。

然后，我們將人員在一個幀中的位置鏈接到下一個幀，為每個人的數(shù)據(jù)分配一個標簽，鏈接器將標簽從一個幀保留到下一個幀。有時候，當(dāng)人們彼此接近時，這使得識別變得困難，稱之為糾結(jié)狀態(tài)。因此，要對人員位置的不確定性進行建模，并通過運動和圖像特征來解決人員位置的不確定性的問題。

現(xiàn)在我們已經(jīng)知道如何解決“誰”的部分，那么讓我們再來看看“拿了什么”這部分。這一部分面臨的主要挑戰(zhàn)是——在Amazon Go我們有許多商品，包括即食食品、餐具包、飲料。而這些商品在視覺上看起來往往會非常相似。

結(jié)合產(chǎn)品分類（通過索引方案）和基于殘差網(wǎng)絡(luò)的細粒度識別來解決這個問題。這種方法可識別成千上萬的產(chǎn)品，并且能夠適應(yīng)店鋪里照明變化、陰影和反射的影響。

這樣通過流媒體服務(wù)、入口出口管理服務(wù)和Just Walk Out Technology的共同合作，我們就這樣打造了一個具備流暢體驗的無人店鋪~

我們見證了AI技術(shù)賦能零售業(yè)所帶來的便利，但AI的賦能不止于此。亞馬遜云科技始終利用產(chǎn)品和技術(shù)幫助更多行業(yè)實現(xiàn)業(yè)務(wù)創(chuàng)新。