大型語言模型自我修正能力存在挑戰(zhàn)，Google提出改良輸出新方法

Google針對(duì)語言模型的新研究，要了解大型語言模型識(shí)別并修正自己錯(cuò)誤的兩個(gè)重要能力。研究人員開發(fā)BIG-Bench Mistake評(píng)估基準(zhǔn)數(shù)據(jù)集進(jìn)行試驗(yàn)，發(fā)現(xiàn)大型語言模型雖然可以識(shí)別出自身在推理過程中出現(xiàn)的邏輯錯(cuò)誤，并進(jìn)行自我修正，但是這個(gè)過程并不夠好，常需要人工干預(yù)來指正模型的輸出，而研究人員提出了自我修正新方法，讓模型能夠發(fā)現(xiàn)自己輸出的錯(cuò)誤，并根據(jù)反饋改進(jìn)結(jié)果。

由于過去并沒有能夠評(píng)估大型語言模型糾錯(cuò)能力的數(shù)據(jù)集，因此Google研究人員創(chuàng)建了BIG-Bench Mistake評(píng)估基準(zhǔn)數(shù)據(jù)集，特別是用于驗(yàn)證在數(shù)學(xué)領(lǐng)域以外的錯(cuò)誤發(fā)現(xiàn)任務(wù)上。BIG-Bench Mistake數(shù)據(jù)集包含了語言模型PaLM在BIG-Bench之中5項(xiàng)任務(wù)，所生成的關(guān)聯(lián)思考（Chain-of-Thought）軌跡，每個(gè)軌跡都被標(biāo)注出第一個(gè)邏輯錯(cuò)誤。

為了最大化數(shù)據(jù)集的錯(cuò)誤數(shù)量，Google選取了255個(gè)答案不正確的軌跡，和45個(gè)答案正確的軌跡，隨后研究人員請(qǐng)人工標(biāo)記者逐一審查每個(gè)軌跡，并標(biāo)記出第一個(gè)錯(cuò)誤，每個(gè)軌跡至少由3名標(biāo)記者進(jìn)行標(biāo)注，確保答案的可靠性。雖然大部分的任務(wù)都是由人類標(biāo)記，但是其中有一種稱為Dyck語言用于檢查上下括號(hào)是否閉合的任務(wù)，是由算法自動(dòng)標(biāo)注。

研究人員提到，因?yàn)檫@個(gè)數(shù)據(jù)集中的邏輯錯(cuò)誤都很簡(jiǎn)單明確，因此可以作為一個(gè)良好的測(cè)試標(biāo)準(zhǔn)，用于檢驗(yàn)大型語言模型是否能夠被用于更難更模糊的任務(wù)前，能否先找出自己的錯(cuò)誤。簡(jiǎn)單來說，在學(xué)會(huì)更難的數(shù)學(xué)題目之前，先練習(xí)加減法一樣，這個(gè)數(shù)據(jù)集可以協(xié)助大型語言模型先從簡(jiǎn)單的邏輯錯(cuò)誤開始練習(xí)，逐步提升識(shí)別錯(cuò)誤的能力。

研究發(fā)現(xiàn)，即便是最先進(jìn)的大型語言模型在關(guān)聯(lián)思考風(fēng)格推理中，找到邏輯錯(cuò)誤的能力也相對(duì)有限，其中最佳模型的準(zhǔn)確率僅52.9%。其次，將錯(cuò)誤發(fā)現(xiàn)作為答案正確性的代理，這一個(gè)方法效果并不理想，簡(jiǎn)單來說，在評(píng)估問題的答案時(shí)，不直接判斷答案本身的正確性，而是檢查解答過程中是否存在邏輯錯(cuò)誤，當(dāng)過程中未發(fā)現(xiàn)錯(cuò)誤，則假定答案正確，反之則是答案錯(cuò)誤，而實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)這個(gè)假設(shè)并不有效，與總是將答案標(biāo)記為錯(cuò)誤的簡(jiǎn)單策略相比沒好上太多。

即使知道錯(cuò)誤的具體位置，大型語言模型在修正錯(cuò)誤的表現(xiàn)也表現(xiàn)不佳。此外，通過4項(xiàng)BIG-Bench任務(wù)微調(diào)的小型模型表現(xiàn)，接著在未曾見過的任務(wù)上進(jìn)行測(cè)試，通常比零樣本提示的大型模型表現(xiàn)更好。這顯示借由針對(duì)性的訓(xùn)練和調(diào)整，大型語言模型能夠?qū)W習(xí)并應(yīng)用錯(cuò)誤發(fā)現(xiàn)的技能到未知的場(chǎng)景中，進(jìn)而提高在各種不同任務(wù)上的準(zhǔn)確性和可靠性。

研究人員認(rèn)為這是一個(gè)重要的結(jié)果，因?yàn)榭梢詢H使用一個(gè)小型的微調(diào)獎(jiǎng)勵(lì)模型來進(jìn)行回溯，并提高任務(wù)的準(zhǔn)確性，即便沒有任務(wù)相關(guān)的數(shù)據(jù)。較小的獎(jiǎng)勵(lì)模型完全獨(dú)立于生成器大型語言模型，并且可以針對(duì)個(gè)別使用案例進(jìn)行更新和進(jìn)一步微調(diào)。

這項(xiàng)研究的貢獻(xiàn)在于揭示了大型語言模型在自我修正方面的挑戰(zhàn)，并為未來的改進(jìn)提供了方向。