為什么ChatGPT和Bing Chat如此擅長編造故事

為什么AI聊天機(jī)器人會(huì)胡編亂造，我們能完全信任它們的輸出嗎？為此，我們?cè)儐柫藥孜粚＜?，并深入研究了這些AI模型是如何工運(yùn)行的，以找到答案。

“幻覺”——人工智能中的一個(gè)偏見性術(shù)語

AI聊天機(jī)器人（如OpenAI的ChatGPT）依賴于一種稱為“大型語言模型”（LLM）的人工智能來生成它們的響應(yīng)。LLM是一種計(jì)算機(jī)程序，經(jīng)過數(shù)百萬文本源的訓(xùn)練，可以閱讀并生成“自然語言”文本語言，就像人類自然地寫作或交談一樣。不幸的是，它們也會(huì)犯錯(cuò)。

在學(xué)術(shù)文獻(xiàn)中，AI研究人員經(jīng)常稱這些錯(cuò)誤為“幻覺”（hallucinations）。隨著這個(gè)話題成為主流，這個(gè)標(biāo)簽也變得越來越具爭議，因?yàn)橐恍┤苏J(rèn)為它將人工智能模型擬人化（暗示它們具有類人的特征），或者在不應(yīng)該暗示這一點(diǎn)的情況下賦予它們權(quán)力（暗示它們可以做出自己的選擇）。此外，商業(yè)LLM的創(chuàng)造者也可能以幻覺為借口，將錯(cuò)誤的輸出歸咎于AI模型，而不是對(duì)輸出本身負(fù)責(zé)。

盡管如此，生成式AI還是一個(gè)很新的領(lǐng)域，我們需要從現(xiàn)有的想法中借用隱喻，向更廣泛的公眾解釋這些高度技術(shù)性的概念。在這種情況下，我們覺得“虛構(gòu)”（confabulation）這個(gè)詞雖然同樣不完美，但比“幻覺”這個(gè)比喻要好。在人類心理學(xué)中，“虛構(gòu)”指的是某人的記憶中存在一個(gè)空白，大腦以一段令人信服的虛構(gòu)事實(shí)來填補(bǔ)他所遺忘的那段經(jīng)歷，而非有意欺騙他人。ChatGPT不像人腦那樣運(yùn)行，但是術(shù)語“虛構(gòu)”可以說是一個(gè)更好的隱喻，因?yàn)樗且詣?chuàng)造性地填補(bǔ)空白的原則（而非有意欺騙）在工作，這一點(diǎn)我們將在下面探討。

虛構(gòu)問題

當(dāng)AI機(jī)器人產(chǎn)生虛假信息時(shí)，這是一個(gè)大問題，這些信息可能會(huì)產(chǎn)生誤導(dǎo)或誹謗效果。最近，《華盛頓郵報(bào)》報(bào)道了一名法學(xué)教授發(fā)現(xiàn)ChatGPT將他列入了性騷擾他人的法律學(xué)者名單。但此事是子虛烏有，完全是ChatGPT編造的。同一天，Ars也報(bào)道了一名澳大利亞市長發(fā)現(xiàn)ChatGPT聲稱他被判受賄并被捕入獄，而該信息也完全是捏造的。

ChatGPT推出后不久，人們就開始鼓吹搜索引擎的終結(jié)。然而，與此同時(shí)，ChatGPT的許多虛構(gòu)案例開始在社交媒體上廣為流傳。AI機(jī)器人發(fā)明了不存在的書籍和研究，教授沒有寫過的出版物，虛假的學(xué)術(shù)論文，虛假的法律引用，不存在的Linux系統(tǒng)功能，不真實(shí)的零售吉祥物，以及沒有意義的技術(shù)細(xì)節(jié)。

然而，盡管ChatGPT傾向于隨意撒些小謊，但它對(duì)虛構(gòu)的抑制正是我們今天談?wù)撍脑?。一些專家指出，ChatGPT在技術(shù)上是對(duì)普通GPT-3（它的前身模型）的改進(jìn)，因?yàn)樗梢跃芙^回答一些問題，或者當(dāng)它的答案可能不準(zhǔn)確時(shí)讓你知道。

大型語言模型專家、Scale AI的提示工程師（prompt engineer）Riley Goodside表示，“ChatGPT成功的一個(gè)主要因素是，它成功地抑制了虛構(gòu)，使許多常見問題都不引人注意。與它的前輩相比，ChatGPT明顯不太容易編造東西。”

如果用作頭腦風(fēng)暴工具，ChatGPT的邏輯跳躍和虛構(gòu)可能會(huì)導(dǎo)致創(chuàng)造性突破。但當(dāng)用作事實(shí)參考時(shí)，ChatGPT可能會(huì)造成真正的傷害，而OpenAI也深知這一點(diǎn)。

在該模型發(fā)布后不久，OpenAI首席執(zhí)行官Sam Altman就在推特上寫道，“ChatGPT的功能非常有限，但在某些方面足夠好，足以造成一種偉大的誤導(dǎo)性印象?，F(xiàn)在在任何重要的事情上依賴它都是錯(cuò)誤的。這是進(jìn)步的預(yù)演;在穩(wěn)健性和真實(shí)性方面，我們還有很多工作要做?！?/p>

在后來的一條推文中，他又寫道，“它確實(shí)知道很多，但危險(xiǎn)在于，它在很大一部分時(shí)間里是盲目自信的，是錯(cuò)誤的?！?/p>

這又是怎么一回事?

ChatGPT的運(yùn)作原理

為了理解像ChatGPT或Bing Chat這樣的GPT模型是如何進(jìn)行“虛構(gòu)”的，我們必須知道GPT模型是如何運(yùn)作的。雖然OpenAI還沒有發(fā)布ChatGPT、Bing Chat甚至GPT-4的技術(shù)細(xì)節(jié)，但我們確實(shí)可以在2020年看到介紹GPT-3（它們的前身）的研究論文。

研究人員通過使用一種稱為“無監(jiān)督學(xué)習(xí)”的過程來構(gòu)建（訓(xùn)練）大型語言模型，如GPT-3和GPT-4，這意味著他們用于訓(xùn)練模型的數(shù)據(jù)沒有特別的注釋或標(biāo)記。在這個(gè)過程中，模型被輸入大量的文本（數(shù)以百萬計(jì)的書籍、網(wǎng)站、文章、詩歌、抄寫本和其他來源），并反復(fù)嘗試預(yù)測(cè)每個(gè)單詞序列中的下一個(gè)單詞。如果模型的預(yù)測(cè)與實(shí)際的下一個(gè)單詞接近，神經(jīng)網(wǎng)絡(luò)就會(huì)更新其參數(shù)，以加強(qiáng)導(dǎo)致該預(yù)測(cè)的模式。

相反地，如果預(yù)測(cè)不正確，模型會(huì)調(diào)整參數(shù)以提高性能并再次嘗試。這種試錯(cuò)的過程，雖然是一種稱為“反向傳播”（backpropagation）的技術(shù)，但可以讓模型從錯(cuò)誤中學(xué)習(xí)，并在訓(xùn)練過程中逐漸改進(jìn)其預(yù)測(cè)。

因此，GPT學(xué)習(xí)數(shù)據(jù)集中單詞和相關(guān)概念之間的統(tǒng)計(jì)關(guān)聯(lián)。一些人，比如OpenAI首席科學(xué)家Ilya Sutskever，認(rèn)為GPT模型比這更進(jìn)一步，建立了一種內(nèi)部現(xiàn)實(shí)模型，這樣他們就可以更準(zhǔn)確地預(yù)測(cè)下一個(gè)最佳令牌（token），但這個(gè)想法是有爭議的。GPT模型如何在其神經(jīng)網(wǎng)絡(luò)中提出下一個(gè)令牌的確切細(xì)節(jié)仍然不確定。

在當(dāng)前的GPT模型浪潮中，這種核心訓(xùn)練（現(xiàn)在通常稱為“預(yù)訓(xùn)練”pre-training）只發(fā)生一次。在此之后，人們可以在“推斷模式”（inference mode）下使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，允許用戶將輸入輸進(jìn)訓(xùn)練好的網(wǎng)絡(luò)中并得到結(jié)果。在推理期間，GPT模型的輸入序列總是由人提供的，它被稱為“指令/提示”（prompt）。提示符決定了模型的輸出，即使稍微改變提示符也會(huì)極大地改變模型產(chǎn)生的結(jié)果。

例如，如果你提示GPT-3“瑪麗有一個(gè)……（Mary had a）”，它通常會(huì)用“小羊羔”來完成句子。這是因?yàn)樵贕PT-3的訓(xùn)練數(shù)據(jù)集中可能有成千上萬個(gè)“瑪麗有只小羊羔（Mary had a little lamb）”的例子，這使得它成為一個(gè)合理的輸出結(jié)果。但是如果你在提示符中添加更多上下文，例如“在醫(yī)院，瑪麗有了一個(gè)（In the hospital,Mary had a）”，結(jié)果將會(huì)改變并返回“嬰兒”或“一系列檢查”之類的單詞。

這就是ChatGPT的有趣之處，因?yàn)樗辉O(shè)定為與代理（agent）的對(duì)話，而不僅僅是一個(gè)直接的文本生成工作。在ChatGPT的情況下，輸入提示是你與ChatGPT進(jìn)行的整個(gè)對(duì)話，從你的第一個(gè)問題或陳述開始，包括在模擬對(duì)話開始之前提供給ChatGPT的任何具體指示。在此過程中，ChatGPT對(duì)它和你所寫的所有內(nèi)容保持短期記憶（稱為“上下文窗口”），當(dāng)它與你“交談”時(shí)，它正試圖完成對(duì)話的文本生成任務(wù)。

此外，ChatGPT不同于普通的GPT-3，因?yàn)樗步邮芰巳祟惥帉懙膶?duì)話文本的訓(xùn)練。OpenAI在其最初的ChatGPT發(fā)布頁面中寫道，“我們使用監(jiān)督微調(diào)（supervised fine-tuning）來訓(xùn)練一個(gè)初始模型：人類AI訓(xùn)練師提供對(duì)話，在對(duì)話中，他們會(huì)扮演雙方——用戶和人工智能助手。我們?yōu)橛?xùn)練師提供了模型編寫的建議，以幫助他們撰寫自己的回答。”

ChatGPT還使用一種稱為“基于人類反饋強(qiáng)化學(xué)習(xí)”（RLHF）的技術(shù)進(jìn)行了更大的調(diào)整，在這種技術(shù)中，人類評(píng)分者會(huì)根據(jù)偏好對(duì)ChatGPT的回答進(jìn)行排序，然后將這些信息反饋到模型中。通過RLHF，OpenAI能夠在模型中灌輸“避免回答無法準(zhǔn)確應(yīng)答的問題”的目標(biāo)。這使得ChatGPT能夠以比基礎(chǔ)模型更少的虛構(gòu)產(chǎn)生一致的響應(yīng)。但不準(zhǔn)確的信息仍會(huì)漏過。

為什么ChatGPT會(huì)產(chǎn)生虛構(gòu)

從本質(zhì)上講，GPT模型的原始數(shù)據(jù)集中沒有任何東西可以將事實(shí)與虛構(gòu)區(qū)分開。

LLM的行為仍然是一個(gè)活躍的研究領(lǐng)域。即便是創(chuàng)建這些GPT模型的研究人員仍然在發(fā)現(xiàn)這項(xiàng)技術(shù)的驚人特性，這些特性在它們最初被開發(fā)時(shí)沒有人預(yù)測(cè)到。GPT能夠做我們現(xiàn)在看到的許多有趣的事情，比如語言翻譯、編程和下棋，這一度讓研究人員感到驚訝。

所以當(dāng)我們問為什么ChatGPT會(huì)產(chǎn)生虛構(gòu)時(shí)，很難找到一個(gè)確切的技術(shù)答案。由于神經(jīng)網(wǎng)絡(luò)權(quán)重有一個(gè)“黑匣子”（black box）元素，在給出一個(gè)復(fù)雜的提示時(shí)，很難（甚至不可能）預(yù)測(cè)它們的準(zhǔn)確輸出。盡管如此，我們還是知道一些虛構(gòu)發(fā)生的基本原因。

理解ChatGPT虛構(gòu)能力的關(guān)鍵是理解它作為預(yù)測(cè)機(jī)器的角色。當(dāng)ChatGPT進(jìn)行虛構(gòu)時(shí)，它正在尋找數(shù)據(jù)集中不存在的信息或分析，并用聽起來似是而非的詞填充空白。ChatGPT特別擅長編造東西，因?yàn)樗仨毺幚淼臄?shù)據(jù)量非常大，而且它收集單詞上下文的能力非常好，這有助于它將錯(cuò)誤信息無縫地放置到周圍的文本中。

軟件開發(fā)人員Simon Willison表示，“我認(rèn)為思考虛構(gòu)的最好方法是思考大型語言模型的本質(zhì)：它們唯一知道怎么做的事情是根據(jù)統(tǒng)計(jì)概率，根據(jù)訓(xùn)練集選擇下一個(gè)最好的單詞?！?/p>

在2021年的一篇論文中，來自牛津大學(xué)和OpenAI的三位研究人員確定了像ChatGPT這樣的LLMs可能產(chǎn)生的兩種主要類型的謊言。第一個(gè)來自其訓(xùn)練數(shù)據(jù)集中不準(zhǔn)確的源材料，例如常見的誤解（如，“吃火雞會(huì)讓你昏昏欲睡”）。第二種源于對(duì)其訓(xùn)練數(shù)據(jù)集中不存在的特定情況進(jìn)行推斷;這屬于前面提到的“幻覺”標(biāo)簽。

GPT模型是否會(huì)做出瘋狂的猜測(cè)，取決于AI研究人員所說的“溫度”（temperature）屬性，它通常被描述為“創(chuàng)造力”（creativity）設(shè)置。如果創(chuàng)造力被設(shè)定得很高，模型就會(huì)瘋狂猜測(cè);如果它被設(shè)置為低，它將根據(jù)它的數(shù)據(jù)集確定地吐出數(shù)據(jù)。

最近，微軟員工Mikhail Parakhin在推特上談到了Bing Chat的幻覺傾向，以及產(chǎn)生幻覺的原因。他寫道，“這就是我之前試圖解釋的：幻覺=創(chuàng)造力。它試圖使用其處理的所有數(shù)據(jù)產(chǎn)生字符串的最高概率連續(xù)。它通常是正確的。有時(shí)人們從未制作過這樣的連續(xù)?！?/p>

Parakhin補(bǔ)充道，這些瘋狂的創(chuàng)造性跳躍正是LLM有趣的地方。你可以抑制幻覺，但你會(huì)發(fā)現(xiàn)這樣超級(jí)無聊。因?yàn)樗偸腔卮稹拔也恢馈?，或者只反饋搜索結(jié)果中的內(nèi)容（有時(shí)也不正確）?，F(xiàn)在缺失的是語調(diào)：在這些情況下，它不應(yīng)該表現(xiàn)得那么自信。”

當(dāng)涉及到微調(diào)像ChatGPT這樣的語言模型時(shí)，平衡創(chuàng)造性和準(zhǔn)確性是一個(gè)挑戰(zhàn)。一方面，提出創(chuàng)造性回應(yīng)的能力使ChatGPT成為產(chǎn)生新想法或消除作者瓶頸的強(qiáng)大工具。這也使模型聽起來更人性化。另一方面，當(dāng)涉及到產(chǎn)生可靠的信息和避免虛構(gòu)時(shí)，源材料的準(zhǔn)確性至關(guān)重要。對(duì)于語言模型的開發(fā)來說，在兩者之間找到正確的平衡是一個(gè)持續(xù)的挑戰(zhàn)，但這對(duì)于開發(fā)一個(gè)既有用又值得信賴的工具是至關(guān)重要的。

還有壓縮的問題。在訓(xùn)練過程中，GPT-3考慮了PB級(jí)的信息，但得到的神經(jīng)網(wǎng)絡(luò)的大小只是它的一小部分。在一篇被廣泛閱讀的《紐約客》文章中，作者Ted Chiang稱這是一張“模糊的網(wǎng)絡(luò)JPEG”。這意味著大部分事實(shí)訓(xùn)練數(shù)據(jù)會(huì)丟失，但GPT-3通過學(xué)習(xí)概念之間的關(guān)系來彌補(bǔ)了這一點(diǎn)，之后它可以使用這些概念重新制定這些事實(shí)的新排列。就像一個(gè)有缺陷記憶的人根據(jù)預(yù)感工作一樣，它有時(shí)會(huì)出錯(cuò)。當(dāng)然，如果它不知道答案，它會(huì)給出最好的猜測(cè)。

我們不能忘記提示符在虛構(gòu)中的作用。在某些方面，ChatGPT是一面鏡子：你給它什么，它就給你什么。如果你給它灌輸謊言，它就會(huì)傾向于同意你的觀點(diǎn)，并沿著這些路線“思考”。這就是為什么在改變?cè)掝}或遇到不想要的回應(yīng)時(shí)，用一個(gè)新的提示重新開始是很重要的。ChatGPT是概率性的，這意味著它在本質(zhì)上是部分隨機(jī)的。即使使用相同的提示，它輸出的內(nèi)容也可能在會(huì)話之間發(fā)生變化。

所有這些都得出了一個(gè)結(jié)論，OpenAI也同意這個(gè)結(jié)論：ChatGPT目前的設(shè)計(jì)并不是一個(gè)可靠的事實(shí)信息來源，也不值得信任。AI公司Hugging Face的研究員兼首席倫理科學(xué)家Margaret Mitchell博士認(rèn)為，“ChatGPT在某些事情上非常有用，比如在縮小寫作瓶頸或提出創(chuàng)意想法時(shí)。它不是為事實(shí)而建的，因此也不會(huì)是事實(shí)。就是這么簡單?！?/p>

撒謊能被糾正嗎?

盲目地相信AI聊天機(jī)器人是一個(gè)錯(cuò)誤，但隨著底層技術(shù)的改進(jìn)，這種情況可能會(huì)改變。自去年11月發(fā)布以來，ChatGPT已經(jīng)升級(jí)了幾次，其中一些升級(jí)包括準(zhǔn)確性的提高，以及拒絕回答它不知道答案的問題的能力。

那么OpenAI計(jì)劃如何讓ChatGPT更準(zhǔn)確呢?在過去的幾個(gè)月里，我們多次就這個(gè)問題聯(lián)系OpenAI，但沒有得到任何回應(yīng)。但我們可以從OpenAI發(fā)布的文件和有關(guān)該公司試圖引導(dǎo)ChatGPT與人類員工保持一致的新聞報(bào)道中找到線索。

如前所述，ChatGPT如此成功的原因之一是因?yàn)槭褂肦LHF進(jìn)行了廣泛的訓(xùn)練。OpenAI解釋稱，“為了讓我們的模型更安全、更有幫助、更一致，我們使用了一種名為‘基于人類反饋強(qiáng)化學(xué)習(xí)（RLHF）’的現(xiàn)有技術(shù)。根據(jù)客戶向API提交的提示，我們的標(biāo)簽器提供所需模型行為的演示，并對(duì)來自模型的幾個(gè)輸出進(jìn)行排序。然后，我們使用這些數(shù)據(jù)對(duì)GPT-3進(jìn)行微調(diào)?！?/p>

OpenAI的Sutskever認(rèn)為，通過RLHF進(jìn)行額外的訓(xùn)練可以解決幻覺問題。Sutskever在本月早些時(shí)候接受《福布斯》采訪時(shí)稱，“我非常希望，通過簡單地改進(jìn)這個(gè)后續(xù)RLHF教會(huì)它不要產(chǎn)生幻覺?！?/p>

他繼續(xù)道，“我們今天做事的方式是雇人來教我們的神經(jīng)網(wǎng)絡(luò)如何反應(yīng)，教聊天工具如何反應(yīng)。你只需與它互動(dòng)，它就會(huì)從你的反應(yīng)中看出，哦，這不是你想要的。你對(duì)它的輸出不滿意。因此，輸出不是很好，下次應(yīng)該做一些不同的事情。我認(rèn)為這是一個(gè)很大的變化，這種方法將能夠完全解決幻覺問題?！?/p>

其他人并不同意。Meta的首席人工智能科學(xué)家Yann LeCun認(rèn)為，當(dāng)前使用GPT架構(gòu)的LLM無法解決幻覺問題。但是有一種新出現(xiàn)的方法，可能會(huì)在當(dāng)前架構(gòu)下為LLM帶來更高的準(zhǔn)確性。他解釋稱，“在LLM中增加真實(shí)性的最活躍的研究方法之一是檢索增強(qiáng)——向模型提供外部文檔作為來源和支持上下文。通過這種技術(shù)，研究人員希望教會(huì)模型使用谷歌這樣的外部搜索引擎，像人類研究人員一樣，在答案中引用可靠的來源，減少對(duì)模型訓(xùn)練中學(xué)習(xí)到的不可靠的事實(shí)知識(shí)的依賴。”

Bing Chat和Google Bard已經(jīng)通過網(wǎng)絡(luò)搜索實(shí)現(xiàn)了這一點(diǎn)，很快，一個(gè)支持瀏覽器的ChatGPT版本也會(huì)實(shí)現(xiàn)。此外，ChatGPT插件旨在補(bǔ)充GPT-4的訓(xùn)練數(shù)據(jù)，它從外部來源檢索信息，如網(wǎng)絡(luò)和專門建造的數(shù)據(jù)庫。這種增強(qiáng)類似于有百科全書的人會(huì)比沒有百科全書的人更準(zhǔn)確地描述事實(shí)。

此外，也有可能訓(xùn)練一個(gè)像GPT-4這樣的模型，讓它意識(shí)到自己什么時(shí)候在瞎編，并做出相應(yīng)的調(diào)整。Mitchell認(rèn)為，“人們可以做一些更深入的事情，讓ChatGPT和類似的東西從一開始就更加真實(shí)，包括更復(fù)雜的數(shù)據(jù)管理，以及使用一種類似于PageRank的方法，將訓(xùn)練數(shù)據(jù)與‘信任’分?jǐn)?shù)聯(lián)系起來……當(dāng)它對(duì)答復(fù)不那么有信心時(shí)，還可以對(duì)模型進(jìn)行微調(diào)以對(duì)沖風(fēng)險(xiǎn)。”

因此，雖然ChatGPT目前因其虛構(gòu)問題而陷入困境，但也許還有一條出路，隨著越來越多的人開始依賴這些工具作為基本助手，相信可靠性的改進(jìn)應(yīng)該很快就會(huì)到來。