據(jù)外媒報道，俄羅斯科技公司Yandex與牛津大學和劍橋大學合作，在NeurIPS會議(Conference and Workshop on Neural Information Processing Systems，神經(jīng)信息處理系統(tǒng)大會)上推出全球“轉變挑戰(zhàn)（Shifts Challenge）”，旨在解決機器學習（machine learning，ML）中的分布轉移問題，并采用了當前業(yè)界最大的自動駕駛汽車（AV）數(shù)據(jù)集。
（圖片來源：Berza項目https://t.me/berzaru）
該數(shù)據(jù)集是在美國、以色列和俄羅斯的各種天氣條件下進行自動駕駛技術測試收集所得，包含600,000個場景，相當于1,600多小時的駕駛時間。
Yandex指出，克服分布轉移是訓練ML模型的一個關鍵方面，且對打造可以在所有環(huán)境下穩(wěn)定運行的模型也非常重要。這也是在“現(xiàn)實生活環(huán)境”中運行模型的先決條件，例如在城市街道上行駛的自動駕駛汽車。因此，Yandex推出這類挑戰(zhàn)是加速ML領域研究的關鍵工具。
“Shifts Challenge”共有三個競賽項目，分別是AV軌跡預測、機器翻譯和天氣預報。除了600,000個場景下的AV數(shù)據(jù)集外，其他兩個項目的參與者還可以訪問來自Yandex的其他高質量數(shù)據(jù)集。AV項目的參與者將被邀請在某些特定類型的場景上訓練其運動預測模型，然后在不同位置的不同條件下對其進行測試，以進一步改進。隨后，挑戰(zhàn)委員會對各模型進行評估。
基于模型的預測準確性以及在給定情況下估計其預測不確定性的能力，挑戰(zhàn)委員會給出最終排名。不確定性估計會顯示模型對其決策的確定程度。這與模型預測準確性一樣重要，且對于AV技術的穩(wěn)健性和可靠性至關重要。
劍橋大學在Shifts Challenge中的合作負責人Mark Gales表示：“隨著深度學習方法越來越強大，這些方法被應用于更加有趣和多樣化的領域。對于這些系統(tǒng)而言，‘知道什么時候不知道’以防止錯誤決策變得越來越重要?！?/p>
Yandex高級研究科學家兼Shifts Challenge負責人Andrey Malinin表示：“在開發(fā)能夠產(chǎn)生準確不確定性估計的穩(wěn)健模型的過程中，其主要障礙是龐大、多樣數(shù)據(jù)集的可用性，其中，這些數(shù)據(jù)集包含真實工業(yè)任務的分布轉變示例。該領域的大多數(shù)研究都是在具有合成分布轉移的小型圖像分類數(shù)據(jù)集上完成的。不幸的是，這些數(shù)據(jù)集上的較好成果通常不能推廣到大規(guī)模工業(yè)應用，例如自動駕駛汽車。我們的目標是通過發(fā)布一個大型數(shù)據(jù)集來解決上述問題，其中該數(shù)據(jù)集包含與圖像分類不同的任務的真實分布轉移示例。我們希望這將為不確定性估計和穩(wěn)健性研究樹立新的標準?！?/p>
閩公網(wǎng)安備 35010202001226號
