華為云獲得HotpotQA多跳知識(shí)推理問(wèn)答評(píng)測(cè)第一

日前，華為云在知識(shí)計(jì)算領(lǐng)域的多跳知識(shí)推理問(wèn)答取得重大進(jìn)展?；谧匀徽Z(yǔ)言處理領(lǐng)域的領(lǐng)先技術(shù)積累，華為云語(yǔ)音語(yǔ)義創(chuàng)新Lab聯(lián)合華為諾亞方舟實(shí)驗(yàn)室在國(guó)際權(quán)威的HotpotQA評(píng)測(cè)Fullwiki Setting賽道榮登榜首，在答案模糊準(zhǔn)確率和聯(lián)合模糊準(zhǔn)確率（Joint F1）等指標(biāo)上均達(dá)到第一。

HotpotQA評(píng)測(cè)（Fullwiki Setting賽道）最新榜單（截至2021年1月20日）

作為企業(yè)重要的信息載體，數(shù)字化文檔記錄了大量企業(yè)知識(shí)，如何快速幫助企業(yè)員工從數(shù)字化文檔中獲得答案，是企業(yè)文檔維護(hù)人員的痛點(diǎn)。為解決此問(wèn)題，一方面需要較強(qiáng)的閱讀理解技術(shù)，另一方面還需要構(gòu)建一套復(fù)雜的開(kāi)放域問(wèn)答流程。

HotpotQA評(píng)測(cè)數(shù)據(jù)是斯坦福、CMU和蒙特利爾大學(xué)聯(lián)合推出的新型問(wèn)答數(shù)據(jù)集，由斯坦福的Manning教授和深度學(xué)習(xí)三巨頭之一的Bengio牽頭構(gòu)建，該數(shù)據(jù)集由多跳復(fù)雜問(wèn)題以及對(duì)應(yīng)的答案組成，同時(shí)包含佐證證據(jù)用來(lái)解釋答案的來(lái)源。在斯坦福此前公布的SQUAD評(píng)測(cè)任務(wù)中，機(jī)器已經(jīng)多次超過(guò)人類，該評(píng)測(cè)僅需要從單個(gè)篇章中找到與問(wèn)題有關(guān)的答案即可，故相對(duì)簡(jiǎn)單。然而，HotpotQA評(píng)測(cè)需要從整個(gè)wikipedia或者多篇文章中找出問(wèn)題相關(guān)的答案，同時(shí)要求返回問(wèn)題到答案的推理鏈，難度大大增加更具有挑戰(zhàn)性。該評(píng)測(cè)也吸引了來(lái)自谷歌、微軟、Facebook等知名研究機(jī)構(gòu)以及CMU、Stanford、華盛頓大學(xué)、清華大學(xué)、北京大學(xué)等知名高校。

挑戰(zhàn)多跳知識(shí)推理技術(shù)高點(diǎn)

HotpotQA評(píng)測(cè)的難點(diǎn)在于機(jī)器要結(jié)合多篇文章進(jìn)行多跳推理才能得出答案，并返回佐證證據(jù)。該評(píng)測(cè)分為Distractor Setting和Fullwiki Setting兩個(gè)賽道。Fullwiki Setting相較于Distractor Setting更為復(fù)雜也更接近實(shí)用價(jià)值，需要從整個(gè)維基百科文檔中抽取文檔，然后再?gòu)奈臋n中提取段落，最后從段落中抽取答案，而Distractor Setting賽道會(huì)提供10篇備選的篇章。如何從大量文檔段落中去多跳搜索候選，然后理解候選段落的內(nèi)容提取佐證證據(jù)成為比賽的關(guān)鍵。

華為云聯(lián)合華為諾亞方舟實(shí)驗(yàn)室，提出了新的檢索目標(biāo)hop，用于收集維基百科中隱藏的推理證據(jù)，解決復(fù)雜多跳問(wèn)題，同時(shí)結(jié)合beam search對(duì)答案進(jìn)行排序和融合。

從維基百科文本圖譜中檢索跳轉(zhuǎn)(Hops)

如今，企業(yè)面臨著數(shù)字化、知識(shí)化轉(zhuǎn)型，知識(shí)化轉(zhuǎn)型重要的關(guān)鍵技術(shù)就是知識(shí)的理解和推理，該技術(shù)對(duì)企業(yè)知識(shí)轉(zhuǎn)型具有重大的意義和推動(dòng)作用。2020年華為云推出知識(shí)計(jì)算解決方案，企業(yè)可以基于華為云知識(shí)計(jì)算解決方案打造自己的知識(shí)計(jì)算平臺(tái)，用于研發(fā)、生產(chǎn)、運(yùn)營(yíng)、銷售、售后服務(wù)等企業(yè)核心流程。目前，該方案已在石油、汽車、醫(yī)療、化纖、煤焦化、鋼鐵、交通等行業(yè)率先實(shí)踐。