康奈爾研究助力Facebook的新AI購(gòu)物工具

基于康奈爾大學(xué)計(jì)算機(jī)視覺(jué)研究的細(xì)粒度視覺(jué)識(shí)別，一種新的人工智能系統(tǒng)允許Facebook上的購(gòu)物者識(shí)別上傳的照片中物品的特征。

首席執(zhí)行官馬克·扎克伯格(Mark Zuckerberg)5月19日通過(guò)Facebook Live宣布了這一產(chǎn)品識(shí)別系統(tǒng)，該系統(tǒng)可以識(shí)別數(shù)十種照片中數(shù)十種類別的屬性，包括時(shí)尚和家居裝飾。

該系統(tǒng)背后的“點(diǎn)擊圖片和搜索”技術(shù)最早由計(jì)算機(jī)科學(xué)教授兼主席Kavita Bala和她當(dāng)時(shí)的博士生Sean Bell，MS'15，博士學(xué)位于2015年開發(fā)。'16，現(xiàn)為Facebook研究科學(xué)家。

Bala和Bell在2016年共同創(chuàng)立了GrokStyle，這是一家基于這項(xiàng)研究的創(chuàng)業(yè)公司。GrokStyle于去年被Facebook收購(gòu)。

“這是一個(gè)來(lái)自學(xué)術(shù)界研究環(huán)境的想法，由學(xué)生和顧問(wèn)共同完成，”8月15日開始擔(dān)任計(jì)算與信息科學(xué)學(xué)院院長(zhǎng)的巴拉表示：“我很高興看到它全部實(shí)現(xiàn)通向全球消費(fèi)者的方式?！?/span>

Facebook的系統(tǒng)，稱為GrokNet和貝爾的帶領(lǐng)下，建立關(guān)GrokStyle技術(shù)和自動(dòng)建議屬性，如顏色和材料時(shí)，賣家上傳照片的產(chǎn)品銷售，根據(jù)Facebook的。該技術(shù)允許買家在查找特定物品時(shí)進(jìn)行詳細(xì)搜索，即使賣家在發(fā)布照片時(shí)沒(méi)有在說(shuō)明中添加這些細(xì)節(jié)。

巴拉說(shuō)：“當(dāng)您對(duì)某物拍照時(shí)，我們不僅可以告訴您是椅子還是桌子，任何人都可以做到，但是我們也可以準(zhǔn)確告訴您它是哪把椅子或桌子–宜家Mammut桌子或Eames椅子-以及它們看起來(lái)是什么樣式和材料。”

該工具今天為Facebook Marketplace提供了強(qiáng)大的功能，并通過(guò)預(yù)測(cè)顏色，樣式和材質(zhì)屬性，以及將上傳的照片與干凈的目錄圖像進(jìn)行匹配來(lái)識(shí)別商品。它結(jié)合了深度學(xué)習(xí)(一種人工智能)和非常大的圖像數(shù)據(jù)庫(kù)。

貝爾說(shuō)：“推銷產(chǎn)品或花時(shí)間創(chuàng)建清單可能很棘手?！薄癎rokNet為您完成艱苦的工作?！?/span>

該公司表示，GrokNet在識(shí)別產(chǎn)品方面的準(zhǔn)確性是Facebook先前系統(tǒng)的兩倍，并將其“家庭和花園”類別的覆蓋率從33%提高到90%。

貝爾說(shuō)：“該系統(tǒng)接受了多種數(shù)據(jù)集的培訓(xùn)，因此它對(duì)于看起來(lái)可能有所不同的物品也很有效，具體取決于您所在的世界的哪個(gè)部分?！?/span>