AI大模型十大威脅全面解析：如何捍衛(wèi)智能時(shí)代的安全底線？

研究發(fā)現(xiàn)，自2023年4月至2024年1月期間，AI/ML工具使用量飆升了594.82%。在2024大模型應(yīng)用元年，多參數(shù)、高精度的AI大模型成就新質(zhì)生產(chǎn)力的同時(shí)，也暴露出了諸多更復(fù)雜的安全風(fēng)險(xiǎn)?；谪?fù)責(zé)任的AI倫理需求，保障AI大模型的可靠實(shí)用、安全真實(shí)，不僅成為亟待突破的智能化瓶頸，也是保障數(shù)字化安全的關(guān)鍵課題。

Akamai“蜀”智出海，從“蓉”上云主題分布式云戰(zhàn)略高峰論壇上，上海觀安信息網(wǎng)絡(luò)安全專家，OWASP上海分會(huì)主席王文君先生，圍繞AI大模型本身的安全問題，系統(tǒng)梳理了當(dāng)下泛濫的AI大模型十大威脅，并提出了制度先行、實(shí)踐框架、安全工具三個(gè)層次的安全產(chǎn)業(yè)合作策略。

AI大模型風(fēng)險(xiǎn)圖形化

01 提示詞注入

提示詞注入攻擊過程中，攻擊者會(huì)通過刻意輸入惡意提示詞，操縱大型語言模型，導(dǎo)致大模型執(zhí)行意外操作，輸出敏感信息。具體類別分為直接注入和間接注入。提示詞直接注入，會(huì)覆蓋系統(tǒng)提示詞；而間接注入，會(huì)隱藏惡意指令，通過文檔、網(wǎng)頁、圖像等載體進(jìn)行注入攻擊，繞過大模型的安全檢測(cè)機(jī)制。

間接提示詞注入，更考驗(yàn)黑客的思維創(chuàng)造能力，通常隱藏著更大危害。由于訓(xùn)練成本與獲取實(shí)時(shí)數(shù)據(jù)的瓶頸問題，大模型應(yīng)用過程中多涉及與插件操作，一旦大模型用插件去訪問被攻擊者操控的目標(biāo)網(wǎng)站，攻擊者payload返給大模型處理后，大模型用戶將可能遭遇數(shù)據(jù)泄露等威脅。

02 不安全的輸出處理

透視不安全的輸出處理攻擊路徑，黑客會(huì)精心構(gòu)造惡意查詢輸入大模型，當(dāng)大模型輸出未經(jīng)處理而被上游系統(tǒng)直接使用，則會(huì)出現(xiàn)此漏洞暴露上游系統(tǒng)，返回帶有惡意代碼的輸出，此類濫用可能會(huì)導(dǎo)致XSS、CSRF、SSRF、權(quán)限升級(jí)或遠(yuǎn)程代碼執(zhí)行等嚴(yán)重后果。

黑客可能會(huì)使用包含提示注入指令等網(wǎng)站摘要提取工具，捕獲用戶對(duì)話敏感內(nèi)容；后續(xù)大模型直接將響應(yīng)傳遞給插件做惡意操作，而沒有適當(dāng)?shù)妮敵鲵?yàn)證，則會(huì)加劇風(fēng)險(xiǎn)。因此一旦產(chǎn)生敏感信息、集成代碼等不安全的輸出處理時(shí)，不應(yīng)該盲目信任、直接渲染，可能要做一些過濾、分析來進(jìn)行處理。

03 訓(xùn)練數(shù)據(jù)投毒

數(shù)據(jù)、算法、算力，是人工智能“三駕馬車”。訓(xùn)練數(shù)據(jù)投毒，是污染AI大模型的惡劣手段，會(huì)嚴(yán)重破壞AI向善格局。黑客會(huì)操縱預(yù)訓(xùn)練數(shù)據(jù)或在微調(diào)或嵌入過程中涉及的數(shù)據(jù)，以引入可能危害模型安全性或道德行為的漏洞、后門或偏見內(nèi)容。

投毒的信息可能會(huì)被呈現(xiàn)給用戶，或者造成其他風(fēng)險(xiǎn)，如性能下降、下游軟件濫用和聲譽(yù)損害。惡意行為者或競(jìng)爭(zhēng)對(duì)手，故意針對(duì)大模型的預(yù)訓(xùn)練、微調(diào)或嵌入數(shù)據(jù)進(jìn)行投毒，使之輸出不正確的內(nèi)容。而另一種攻擊場(chǎng)景，可能是大模型使用未經(jīng)驗(yàn)證的數(shù)據(jù)進(jìn)行訓(xùn)練，則會(huì)致使虛假信息泛濫。

04 大模型拒絕服務(wù)

如果說訓(xùn)練數(shù)據(jù)投毒是對(duì)LLM資源的污染，那么大模型拒絕服務(wù)就是對(duì)資源的浪費(fèi)。在此過程中，攻擊者會(huì)對(duì)大模型進(jìn)行資源密集型操作，導(dǎo)致服務(wù)降級(jí)或高成本。由于LLM的資源密集型性質(zhì)和用戶輸入的不可預(yù)測(cè)性，該漏洞可能會(huì)被放大。

攻擊者持續(xù)不斷地向大模型發(fā)送消耗資源的操作（生成圖像和視頻），攻擊者會(huì)通過制作利用大模型遞歸行為的輸入，占用大量計(jì)算資源。在應(yīng)用高峰期，大模型拒絕服務(wù)循環(huán)運(yùn)轉(zhuǎn)的話，將會(huì)對(duì)大模型的常態(tài)性能造成巨大沖擊。

05 供應(yīng)鏈風(fēng)險(xiǎn)

供應(yīng)鏈風(fēng)險(xiǎn)是近年來的熱門安全話題，不只是與勒索軟件形成協(xié)同威脅，還會(huì)滲透至大模型應(yīng)用程序的生命周期中，通過薄弱環(huán)節(jié)的組件或服務(wù)生成攻擊。使用第三方數(shù)據(jù)集、預(yù)先訓(xùn)練的模型和插件，都有可能引起大模型應(yīng)用的供應(yīng)鏈風(fēng)險(xiǎn)。

譬如，攻擊者利用PyPi軟件包發(fā)布惡意庫，對(duì)Hugging Face市場(chǎng)上的大模型文件進(jìn)行反序列化，篡改了一個(gè)公開可用的預(yù)訓(xùn)練模型，將誘餌部署在Hugging Face模型市場(chǎng)上，等待潛在受害者下載使用。

06 敏感信息泄漏

大模型應(yīng)用程序根據(jù)用戶輸入查詢，可能會(huì)輸出敏感信息，可能導(dǎo)致未經(jīng)授權(quán)訪問敏感數(shù)據(jù)、知識(shí)產(chǎn)權(quán)，侵犯隱私和其他安全漏洞。攻擊者通過精心設(shè)計(jì)的一組提示詞，向大模型發(fā)送間接提示詞注入，會(huì)繞過防護(hù)機(jī)制，沒有通過脫敏而泄漏到訓(xùn)練模型中去。

大模型的重要應(yīng)用場(chǎng)景，便是扮演個(gè)人辦公助手，通過處理郵件、自動(dòng)匯總會(huì)議信息等方式，釋放企業(yè)員工的生產(chǎn)力。圍繞該場(chǎng)景，黑客可能借助插件獲取受害者的郵件，竊取用戶的敏感信息。配合上網(wǎng)絡(luò)釣魚與虛假網(wǎng)站，黑客的社會(huì)工程攻擊會(huì)產(chǎn)生更大的破壞力。

07 不安全的插件設(shè)計(jì)

插件的存在，拓展與繁榮了大模型創(chuàng)新生態(tài)，但若缺失對(duì)相關(guān)調(diào)用API的安全管控，會(huì)帶來顯著危害。而大模型插件一旦未正確處理輸入以及沒有充分進(jìn)行權(quán)限控制，攻擊者便可以利用漏洞進(jìn)行攻擊，如遠(yuǎn)程代碼執(zhí)行。

啟用大模型插件時(shí)，會(huì)在用戶與大模型交互時(shí)自動(dòng)調(diào)用。插件接受來自大模型輸入文本而不進(jìn)行驗(yàn)證，這使得攻擊者可以構(gòu)造惡意請(qǐng)求發(fā)送給插件，造成高風(fēng)險(xiǎn)威脅。如天氣預(yù)報(bào)插件接受基本URL獲取天氣情況，黑客通過精心構(gòu)造URL指向控制域名執(zhí)行命令，會(huì)影響下游插件，若使用間接提示注入來操縱代碼管理插件，可造成刪庫風(fēng)險(xiǎn)。

08 過度代理

凡事適度，即便身處大模型時(shí)代，過于相信大模型也會(huì)陷入過度代理的險(xiǎn)境。造成此類風(fēng)險(xiǎn)的根本原因通常是功能過多、權(quán)限過多或自主權(quán)過多。過度代理會(huì)允許在大模型在出現(xiàn)意外時(shí)（如通過直接或間接提示注入等）會(huì)執(zhí)行破壞性操作。

針對(duì)AI大模型扮演個(gè)人智能助理場(chǎng)景，社會(huì)工程類攻擊者會(huì)編造一封郵件內(nèi)容發(fā)給用戶。個(gè)人助理進(jìn)行處理后，若沒有限制大模型的發(fā)送郵件功能，可能發(fā)送垃圾郵件/釣魚郵件給其他用戶，而文檔的插件會(huì)允許用戶執(zhí)行刪除操作，而無需用戶的任何確認(rèn)。

09 過度依賴

過度代理不可取，過度依賴不可信。雖然大模型可以生成創(chuàng)意內(nèi)容，但它們也可能是生成不準(zhǔn)確、不適當(dāng)或不安全的內(nèi)容幻覺。過度依賴大模型可能會(huì)導(dǎo)致錯(cuò)誤信息、法律問題和安全漏洞。相信不少大模型用戶都會(huì)遇到過大模型“一本正經(jīng)地胡說八道”的AI幻覺時(shí)刻。

無意識(shí)的AI可能會(huì)進(jìn)行內(nèi)容剽竊，導(dǎo)致版權(quán)問題和對(duì)組織的信任度下降。例如，軟件開發(fā)公司使用大模型來協(xié)助開發(fā)者，同時(shí)開發(fā)人員完全信任AI，可能無意中將惡意包集成到公司的軟件中，這將會(huì)埋下隱蔽的風(fēng)險(xiǎn)隱患。

10 模型失竊

模型失竊威脅，是指具有知識(shí)產(chǎn)權(quán)的私有大模型被盜取、復(fù)制或權(quán)重和參數(shù)被提取，以創(chuàng)建一個(gè)功能等效的模型。這將損害創(chuàng)新企業(yè)的經(jīng)濟(jì)和品牌聲譽(yù)、削弱競(jìng)爭(zhēng)優(yōu)勢(shì)，以及致使黑客對(duì)模型進(jìn)行未授權(quán)使用、盜取一些垂直領(lǐng)域的敏感信息等。

鑒于全球已發(fā)生多起使用AIGC導(dǎo)致的數(shù)據(jù)泄露事件，多國合規(guī)機(jī)構(gòu)升級(jí)監(jiān)管要求，當(dāng)下維護(hù)AI大模型的安全性與可靠性，是保障各行業(yè)由數(shù)字化邁向智能化的關(guān)鍵安全基礎(chǔ)。以AI抗擊AI是當(dāng)下的主要安全策略，2024年RSAC創(chuàng)新沙盒大賽冠軍Reality Defender網(wǎng)絡(luò)安全公司的深度偽造檢測(cè)平臺(tái)，即善用多模型支持政府和企業(yè)檢測(cè)AI生成的虛假內(nèi)容，已然成為網(wǎng)絡(luò)安全的新風(fēng)向。

Akamai首席執(zhí)行官兼聯(lián)合創(chuàng)始人湯姆·萊頓指出，大模型提速升級(jí)的當(dāng)下，短期內(nèi)黑客可能獲得不對(duì)稱的優(yōu)勢(shì)；但基于Akamai AI智能化產(chǎn)品，能支持客戶去檢測(cè)異常與受攻擊情況，監(jiān)測(cè)撞庫攻擊、盜號(hào)等情況。在未來，Akamai也將持續(xù)對(duì)AI與云服務(wù)進(jìn)行創(chuàng)新融合，構(gòu)建更為穩(wěn)固的安全防線。