Yandex推出分布轉(zhuǎn)移挑戰(zhàn)加速M(fèi)L研究

據(jù)外媒報(bào)道，俄羅斯科技公司Yandex與牛津大學(xué)和劍橋大學(xué)合作，在NeurIPS會(huì)議(Conference and Workshop on Neural Information Processing Systems，神經(jīng)信息處理系統(tǒng)大會(huì))上推出全球“轉(zhuǎn)變挑戰(zhàn)（Shifts Challenge）”，旨在解決機(jī)器學(xué)習(xí)（machine learning，ML）中的分布轉(zhuǎn)移問題，并采用了當(dāng)前業(yè)界最大的自動(dòng)駕駛汽車（AV）數(shù)據(jù)集。

（圖片來源：Berza項(xiàng)目https://t.me/berzaru）

該數(shù)據(jù)集是在美國、以色列和俄羅斯的各種天氣條件下進(jìn)行自動(dòng)駕駛技術(shù)測試收集所得，包含600,000個(gè)場景，相當(dāng)于1,600多小時(shí)的駕駛時(shí)間。

Yandex指出，克服分布轉(zhuǎn)移是訓(xùn)練ML模型的一個(gè)關(guān)鍵方面，且對(duì)打造可以在所有環(huán)境下穩(wěn)定運(yùn)行的模型也非常重要。這也是在“現(xiàn)實(shí)生活環(huán)境”中運(yùn)行模型的先決條件，例如在城市街道上行駛的自動(dòng)駕駛汽車。因此，Yandex推出這類挑戰(zhàn)是加速M(fèi)L領(lǐng)域研究的關(guān)鍵工具。

“Shifts Challenge”共有三個(gè)競賽項(xiàng)目，分別是AV軌跡預(yù)測、機(jī)器翻譯和天氣預(yù)報(bào)。除了600,000個(gè)場景下的AV數(shù)據(jù)集外，其他兩個(gè)項(xiàng)目的參與者還可以訪問來自Yandex的其他高質(zhì)量數(shù)據(jù)集。AV項(xiàng)目的參與者將被邀請(qǐng)?jiān)谀承┨囟愋偷膱鼍吧嫌?xùn)練其運(yùn)動(dòng)預(yù)測模型，然后在不同位置的不同條件下對(duì)其進(jìn)行測試，以進(jìn)一步改進(jìn)。隨后，挑戰(zhàn)委員會(huì)對(duì)各模型進(jìn)行評(píng)估。

基于模型的預(yù)測準(zhǔn)確性以及在給定情況下估計(jì)其預(yù)測不確定性的能力，挑戰(zhàn)委員會(huì)給出最終排名。不確定性估計(jì)會(huì)顯示模型對(duì)其決策的確定程度。這與模型預(yù)測準(zhǔn)確性一樣重要，且對(duì)于AV技術(shù)的穩(wěn)健性和可靠性至關(guān)重要。

劍橋大學(xué)在Shifts Challenge中的合作負(fù)責(zé)人Mark Gales表示：“隨著深度學(xué)習(xí)方法越來越強(qiáng)大，這些方法被應(yīng)用于更加有趣和多樣化的領(lǐng)域。對(duì)于這些系統(tǒng)而言，‘知道什么時(shí)候不知道’以防止錯(cuò)誤決策變得越來越重要?！?/p>

Yandex高級(jí)研究科學(xué)家兼Shifts Challenge負(fù)責(zé)人Andrey Malinin表示：“在開發(fā)能夠產(chǎn)生準(zhǔn)確不確定性估計(jì)的穩(wěn)健模型的過程中，其主要障礙是龐大、多樣數(shù)據(jù)集的可用性，其中，這些數(shù)據(jù)集包含真實(shí)工業(yè)任務(wù)的分布轉(zhuǎn)變示例。該領(lǐng)域的大多數(shù)研究都是在具有合成分布轉(zhuǎn)移的小型圖像分類數(shù)據(jù)集上完成的。不幸的是，這些數(shù)據(jù)集上的較好成果通常不能推廣到大規(guī)模工業(yè)應(yīng)用，例如自動(dòng)駕駛汽車。我們的目標(biāo)是通過發(fā)布一個(gè)大型數(shù)據(jù)集來解決上述問題，其中該數(shù)據(jù)集包含與圖像分類不同的任務(wù)的真實(shí)分布轉(zhuǎn)移示例。我們希望這將為不確定性估計(jì)和穩(wěn)健性研究樹立新的標(biāo)準(zhǔn)。”