翻車的不只谷歌？微軟必應(yīng)聊天演示被指存在事實性錯誤

新浪科技訊 北京時間2月15日上午消息，幾天前，谷歌聊天機(jī)器人演示活動現(xiàn)場翻車導(dǎo)致其股價當(dāng)天暴跌逾7%，但微軟的演示活動同樣出現(xiàn)了事實性錯誤。

在微軟進(jìn)行演示時，這項嵌入在必應(yīng)搜索中的類ChatGPT技術(shù)分析了Gap和Lululemon的財報。但業(yè)內(nèi)人士將其給出的答案與財報原文對比后卻發(fā)現(xiàn)，這款聊天機(jī)器人遺漏了一些數(shù)據(jù)，甚至?xí)抛恍﹥?nèi)容。

“必應(yīng)AI在演示過程中給出了一些完全錯誤的答案，但卻沒人注意到?！豹毩⑺阉饕嫜芯繂T德米特里·布里爾頓（Dmitri Brereton）寫道，“相反，大家都對必應(yīng)的宣傳歡欣鼓舞?！?/p>

布里爾頓發(fā)現(xiàn)，除了財務(wù)數(shù)據(jù)上的錯誤外，微軟在演示中針對吸塵器規(guī)格和墨西哥旅行計劃的回答可能存在事實性錯誤。布里爾頓最初并不是為了給微軟“挑刺”，他只是在細(xì)致對比微軟和谷歌的答案時意外發(fā)現(xiàn)了這些問題。

人工智能專家稱這一現(xiàn)象為“幻覺”，也就是說，基于大語言模型生成的工具有杜撰內(nèi)容的傾向。上周，谷歌推出了一款與之競爭的人工智能工具，演示過程中同樣存在事實性錯誤——但當(dāng)時的錯誤很快就被人發(fā)現(xiàn)。

這兩家公司都在加緊將新型生成式人工智能整合進(jìn)搜索引擎，希望在ChatGPT引爆行業(yè)熱潮后向世人展示自己在這方面的優(yōu)勢。ChatGPT是去年11月由創(chuàng)業(yè)公司OpenAI推出的，他們已經(jīng)通過微軟融資百億美元，與之競爭的Stability AI和Hugging Face等創(chuàng)業(yè)公司也在融資中獲得了數(shù)十億美元的估值。

谷歌與微軟對待這項技術(shù)的態(tài)度差異明顯：由于擔(dān)心聲譽風(fēng)險和安全問題，谷歌遲遲不愿將AIGC（人工智能生成內(nèi)容）技術(shù)整合進(jìn)搜索引擎，而微軟卻在上周強(qiáng)調(diào)，有可能在短期內(nèi)向部分公眾開放這項技術(shù)。

“我認(rèn)為不能讓這項技術(shù)躺在實驗室里，”納德拉說，“應(yīng)該安全地推廣出去?！?/p>

但在必應(yīng)AI的演示過程中，的確在公司財報數(shù)據(jù)上出現(xiàn)了一些問題。

微軟營銷高管約瑟夫·梅赫蒂（Yusuf Mehdi）在演示過程中訪問了Gap的投資者關(guān)系網(wǎng)站，然后讓必應(yīng)AI根據(jù)這家零售商11月發(fā)布的第三季財報總結(jié)出“要點”。

“很酷，節(jié)約了大量時間?！泵泛盏僬f。

下面是微軟演示過程的屏幕截圖：

以下是這份總結(jié)中存在的錯誤：

-Gap報告的毛利率為37.4%。但在去除與Yeezy有關(guān)的費用后，調(diào)整后毛利率為38.7%。

-Gap的運營利潤率為4.6%，而非5.9%。5.9%這個數(shù)據(jù)在該公司的財報中根本沒有出現(xiàn)。

-調(diào)整后攤薄每股收益為0.71美元，而非0.42美元，后者同樣在財報中無法找到。Gap的財報包含一個調(diào)整后所得稅收益，約為0.33美元。

-Gap去年8月下調(diào)了全年預(yù)期，并在第三季度財報中表示，“第四季度銷售額可能同比下滑個位數(shù)左右”。由此看來，全年營收應(yīng)該下滑，而非“較低的兩位數(shù)增長”。并沒有營業(yè)利潤率或每股收益預(yù)期。

Gap2022財年第三季度財報

微軟表示，該公司知道這些錯誤，他們也預(yù)計必應(yīng)AI會犯一些錯誤。

“我們知道這份報告，并且已經(jīng)通過分析這一問題來改善體驗。”微軟發(fā)言人說，“我們承認(rèn)仍然有一些工作要做，并且預(yù)計到該系統(tǒng)可能會在預(yù)覽期間犯一些錯誤，正因如此，反饋才至關(guān)重要，這可以幫助我們學(xué)習(xí)和改進(jìn)模型?！?/p>

微軟隨后讓必應(yīng)AI對比了Gap和Lululemon的財報。梅赫蒂希望必應(yīng)能將兩份財報的數(shù)據(jù)提取出來，制作成一份表格。

“看看效果多么驚人?！彼f，“就像這樣，一張表格，這個問題的答案有了。可以想象一下，用其他方法需要花多長時間?！?/p>

下面是必應(yīng)AI的結(jié)果：

下面是表格中出現(xiàn)的幾項錯誤，從利潤率開始：

-Lululemon的毛利率是55.9%，不是58.7%。

-該公司的運營利潤率是19%，不是20.7%

-Lululemon的攤薄每股收益為2美元，調(diào)整后每股收益為1.62美元，必應(yīng)顯示的攤薄每股收益為1.65美元。

-Gap現(xiàn)金及現(xiàn)金等價物為6790萬美元，不是14億美元。

-Gap庫存為30.4億美元，不是19億美元。