AI大模型十大威脅全面解析：如何捍衛(wèi)智能時代的安全底線？

研究發(fā)現，自2023年4月至2024年1月期間，AI/ML工具使用量飆升了594.82%。在2024大模型應用元年，多參數、高精度的AI大模型成就新質生產力的同時，也暴露出了諸多更復雜的安全風險?；谪撠熑蔚腁I倫理需求，保障AI大模型的可靠實用、安全真實，不僅成為亟待突破的智能化瓶頸，也是保障數字化安全的關鍵課題。

Akamai“蜀”智出海，從“蓉”上云主題分布式云戰(zhàn)略高峰論壇上，上海觀安信息網絡安全專家，OWASP上海分會主席王文君先生，圍繞AI大模型本身的安全問題，系統梳理了當下泛濫的AI大模型十大威脅，并提出了制度先行、實踐框架、安全工具三個層次的安全產業(yè)合作策略。

AI大模型風險圖形化

01 提示詞注入

提示詞注入攻擊過程中，攻擊者會通過刻意輸入惡意提示詞，操縱大型語言模型，導致大模型執(zhí)行意外操作，輸出敏感信息。具體類別分為直接注入和間接注入。提示詞直接注入，會覆蓋系統提示詞；而間接注入，會隱藏惡意指令，通過文檔、網頁、圖像等載體進行注入攻擊，繞過大模型的安全檢測機制。

間接提示詞注入，更考驗黑客的思維創(chuàng)造能力，通常隱藏著更大危害。由于訓練成本與獲取實時數據的瓶頸問題，大模型應用過程中多涉及與插件操作，一旦大模型用插件去訪問被攻擊者操控的目標網站，攻擊者payload返給大模型處理后，大模型用戶將可能遭遇數據泄露等威脅。

02 不安全的輸出處理

透視不安全的輸出處理攻擊路徑，黑客會精心構造惡意查詢輸入大模型，當大模型輸出未經處理而被上游系統直接使用，則會出現此漏洞暴露上游系統，返回帶有惡意代碼的輸出，此類濫用可能會導致XSS、CSRF、SSRF、權限升級或遠程代碼執(zhí)行等嚴重后果。

黑客可能會使用包含提示注入指令等網站摘要提取工具，捕獲用戶對話敏感內容；后續(xù)大模型直接將響應傳遞給插件做惡意操作，而沒有適當的輸出驗證，則會加劇風險。因此一旦產生敏感信息、集成代碼等不安全的輸出處理時，不應該盲目信任、直接渲染，可能要做一些過濾、分析來進行處理。

03 訓練數據投毒

數據、算法、算力，是人工智能“三駕馬車”。訓練數據投毒，是污染AI大模型的惡劣手段，會嚴重破壞AI向善格局。黑客會操縱預訓練數據或在微調或嵌入過程中涉及的數據，以引入可能危害模型安全性或道德行為的漏洞、后門或偏見內容。

投毒的信息可能會被呈現給用戶，或者造成其他風險，如性能下降、下游軟件濫用和聲譽損害。惡意行為者或競爭對手，故意針對大模型的預訓練、微調或嵌入數據進行投毒，使之輸出不正確的內容。而另一種攻擊場景，可能是大模型使用未經驗證的數據進行訓練，則會致使虛假信息泛濫。

04 大模型拒絕服務

如果說訓練數據投毒是對LLM資源的污染，那么大模型拒絕服務就是對資源的浪費。在此過程中，攻擊者會對大模型進行資源密集型操作，導致服務降級或高成本。由于LLM的資源密集型性質和用戶輸入的不可預測性，該漏洞可能會被放大。

攻擊者持續(xù)不斷地向大模型發(fā)送消耗資源的操作（生成圖像和視頻），攻擊者會通過制作利用大模型遞歸行為的輸入，占用大量計算資源。在應用高峰期，大模型拒絕服務循環(huán)運轉的話，將會對大模型的常態(tài)性能造成巨大沖擊。

05 供應鏈風險

供應鏈風險是近年來的熱門安全話題，不只是與勒索軟件形成協同威脅，還會滲透至大模型應用程序的生命周期中，通過薄弱環(huán)節(jié)的組件或服務生成攻擊。使用第三方數據集、預先訓練的模型和插件，都有可能引起大模型應用的供應鏈風險。

譬如，攻擊者利用PyPi軟件包發(fā)布惡意庫，對Hugging Face市場上的大模型文件進行反序列化，篡改了一個公開可用的預訓練模型，將誘餌部署在Hugging Face模型市場上，等待潛在受害者下載使用。

06 敏感信息泄漏

大模型應用程序根據用戶輸入查詢，可能會輸出敏感信息，可能導致未經授權訪問敏感數據、知識產權，侵犯隱私和其他安全漏洞。攻擊者通過精心設計的一組提示詞，向大模型發(fā)送間接提示詞注入，會繞過防護機制，沒有通過脫敏而泄漏到訓練模型中去。

大模型的重要應用場景，便是扮演個人辦公助手，通過處理郵件、自動匯總會議信息等方式，釋放企業(yè)員工的生產力。圍繞該場景，黑客可能借助插件獲取受害者的郵件，竊取用戶的敏感信息。配合上網絡釣魚與虛假網站，黑客的社會工程攻擊會產生更大的破壞力。

07 不安全的插件設計

插件的存在，拓展與繁榮了大模型創(chuàng)新生態(tài)，但若缺失對相關調用API的安全管控，會帶來顯著危害。而大模型插件一旦未正確處理輸入以及沒有充分進行權限控制，攻擊者便可以利用漏洞進行攻擊，如遠程代碼執(zhí)行。

啟用大模型插件時，會在用戶與大模型交互時自動調用。插件接受來自大模型輸入文本而不進行驗證，這使得攻擊者可以構造惡意請求發(fā)送給插件，造成高風險威脅。如天氣預報插件接受基本URL獲取天氣情況，黑客通過精心構造URL指向控制域名執(zhí)行命令，會影響下游插件，若使用間接提示注入來操縱代碼管理插件，可造成刪庫風險。

08 過度代理

凡事適度，即便身處大模型時代，過于相信大模型也會陷入過度代理的險境。造成此類風險的根本原因通常是功能過多、權限過多或自主權過多。過度代理會允許在大模型在出現意外時（如通過直接或間接提示注入等）會執(zhí)行破壞性操作。

針對AI大模型扮演個人智能助理場景，社會工程類攻擊者會編造一封郵件內容發(fā)給用戶。個人助理進行處理后，若沒有限制大模型的發(fā)送郵件功能，可能發(fā)送垃圾郵件/釣魚郵件給其他用戶，而文檔的插件會允許用戶執(zhí)行刪除操作，而無需用戶的任何確認。

09 過度依賴

過度代理不可取，過度依賴不可信。雖然大模型可以生成創(chuàng)意內容，但它們也可能是生成不準確、不適當或不安全的內容幻覺。過度依賴大模型可能會導致錯誤信息、法律問題和安全漏洞。相信不少大模型用戶都會遇到過大模型“一本正經地胡說八道”的AI幻覺時刻。

無意識的AI可能會進行內容剽竊，導致版權問題和對組織的信任度下降。例如，軟件開發(fā)公司使用大模型來協助開發(fā)者，同時開發(fā)人員完全信任AI，可能無意中將惡意包集成到公司的軟件中，這將會埋下隱蔽的風險隱患。

10 模型失竊

模型失竊威脅，是指具有知識產權的私有大模型被盜取、復制或權重和參數被提取，以創(chuàng)建一個功能等效的模型。這將損害創(chuàng)新企業(yè)的經濟和品牌聲譽、削弱競爭優(yōu)勢，以及致使黑客對模型進行未授權使用、盜取一些垂直領域的敏感信息等。

鑒于全球已發(fā)生多起使用AIGC導致的數據泄露事件，多國合規(guī)機構升級監(jiān)管要求，當下維護AI大模型的安全性與可靠性，是保障各行業(yè)由數字化邁向智能化的關鍵安全基礎。以AI抗擊AI是當下的主要安全策略，2024年RSAC創(chuàng)新沙盒大賽冠軍Reality Defender網絡安全公司的深度偽造檢測平臺，即善用多模型支持政府和企業(yè)檢測AI生成的虛假內容，已然成為網絡安全的新風向。

Akamai首席執(zhí)行官兼聯合創(chuàng)始人湯姆·萊頓指出，大模型提速升級的當下，短期內黑客可能獲得不對稱的優(yōu)勢；但基于Akamai AI智能化產品，能支持客戶去檢測異常與受攻擊情況，監(jiān)測撞庫攻擊、盜號等情況。在未來，Akamai也將持續(xù)對AI與云服務進行創(chuàng)新融合，構建更為穩(wěn)固的安全防線。