消除對生成式AI的恐懼：Cloudflare如何保護收件箱以防御AI增強的網(wǎng)絡(luò)釣魚

電子郵件仍然是攻擊者試圖入侵或勒索組織時使用的最主要攻擊手段。鑒于電子郵件在商業(yè)溝通中的頻繁使用，網(wǎng)絡(luò)釣魚攻擊一直普遍存在。隨著攻擊者可用的工具不斷發(fā)展，攻擊者的手段也在規(guī)避安全保護措施的同時不斷改進。幾款AI大語言模型（LLM）發(fā)布引發(fā)一陣狂熱，人們爭相發(fā)現(xiàn)基于生成式AI能力的全新應用，并消耗著安全研究人員的精力。其中一種應用則是被用于創(chuàng)造釣魚攻擊的內(nèi)容。

網(wǎng)絡(luò)釣魚是否成功依賴于攻擊者是否看起來真實可信。多年來，我們觀察到兩種不同形式的“真實性”，分別是視覺上和組織上。視覺上“真實”的攻擊使用標識、圖像等來建立信任，而組織上“真實”的攻擊活動利用相關(guān)商業(yè)動態(tài)和社會關(guān)系來推動他們的成功。攻擊者可以通過多種方式利用LLM使其電子郵件看起來更加真實可信。攻擊者常用的一種技術(shù)是利用LLM將他們撰寫的電子郵件進行翻譯和修改，使其成為表面上看起來更有說服力的信息。更復雜的攻擊將LLM與從被攻陷賬戶中收集的個人數(shù)據(jù)配對，編寫個性化的、組織上看起來“真實可信”的消息。

例如，WormGPT能夠?qū)σ环庑形淖玖拥碾娮余]件進行重新創(chuàng)作，使其在語法、流暢性和語氣上更加出色。結(jié)果將生成一封流暢、行文出色的郵件，更容易被認為是真實可信的。論壇中的威脅行為者被鼓勵用自己的母語創(chuàng)建粗略的草稿，然后充分利用LLM發(fā)揮作用。

利用LLM的一種網(wǎng)絡(luò)釣魚形式是企業(yè)電子郵件破壞(BEC)攻擊。此類攻擊可造成毀滅性的影響。在這些攻擊中，惡意行為者試圖欺騙受害者支付欺詐性發(fā)票的款項；LLM可以幫助使這些消息在組織上聽起來更具真實性。對于希望阻止資金未經(jīng)授權(quán)流出的組織而言，BEC攻擊是最關(guān)注的問題，但LLM也可用于制作其他類型的網(wǎng)絡(luò)釣魚消息。

然而，這些由LLM制作的消息仍然依賴用戶執(zhí)行操作，例如查看虛假發(fā)票或與鏈接交互，而偽造這兩者并非易事。而且，LLM撰寫的每一封電子郵件依然是電子郵件，其中包含諸如發(fā)件人聲譽、通信模式和與每條消息捆綁的元數(shù)據(jù)等一系列其他信號。通過部署正確的緩解策略和工具，我們能夠有效地阻止通過LLM增強的攻擊。

盡管ChatGPT的流行使LLM最近備受關(guān)注，但這類模型并不是新事物；Cloudflare多年來一直在訓練其模型以抵御通過LLM增強的攻擊。我們的模型能夠檢視電子郵件的所有組成部分，確保Cloudflare的客戶已經(jīng)受到保護，并將在未來繼續(xù)受到保護，因為我們的威脅研究團隊通過分析數(shù)十億封郵件開發(fā)的機器學習系統(tǒng)不會被措辭優(yōu)美的電子郵件所欺騙。

生成式AI的威脅和折衷

AI生成攻擊中最危險的一種是基于攻擊前收集的數(shù)據(jù)進行個性化定制的。威脅行為者通過更傳統(tǒng)的賬戶入侵方式獲得這些信息并進行迭代。一旦獲得足夠的信息，他們就會發(fā)動攻擊。這種攻擊的目標非常明確，具有高度針對性。AI的好處在于規(guī)模運作；然而，為了創(chuàng)建郵件以準確模擬攻擊者要冒充的身份，有必要收集大量收據(jù)。

雖然由AI生成的攻擊在個性化和可擴展性方面具有優(yōu)勢，但它們的有效性取決于有足夠的樣本來確保真實性。傳統(tǒng)的威脅行為者也可以利用社會工程手段來實現(xiàn)類似的結(jié)果，但沒有AI的效率和可擴展性。正如我們將在下一節(jié)討論的那樣，機會和時機的基本限制仍適用于所有攻擊者，無論使用何種技術(shù)。

要防御此類攻擊，企業(yè)和組織必須采用多層次的網(wǎng)絡(luò)安全方法。其中包括員工意識培訓，采取利用AI和傳統(tǒng)技術(shù)的高級威脅檢測系統(tǒng)，以及不斷更新安全實踐以防范AI和傳統(tǒng)的網(wǎng)絡(luò)釣魚攻擊。

威脅行為者可以利用AI生成攻擊，但這會帶來一些折衷。他們能成功進行的攻擊的數(shù)量上限與他們掌握的機會多寡，以及他們可用于構(gòu)造可信消息的數(shù)據(jù)成正比。他們需要獲取信息和把握機會，否則攻擊將不太可能成功。

BEC攻擊和LLM

BEC攻擊是企業(yè)和組織最關(guān)注的問題，因為攻擊者能通過這種方式從目標竊取大量金錢。由于BEC主要基于文本，而LLM則似乎會將導致此類攻擊泛濫起來。然而，現(xiàn)實情況大不相同。限制這種看法成為現(xiàn)實的主要障礙是機會。我們將機會定義為時間中的一個窗口，期間機緣巧合造就一個可被利用的條件，且該條件最終可以被加以利用——例如，攻擊者可能使用來自數(shù)據(jù)泄露的數(shù)據(jù)，來識別某公司供應商支付計劃中的一個機會。威脅行為者可能具備動機、手段和資源來實施一次看似真實的BEC攻擊，但如果缺乏機會，攻擊將以失敗告終。雖然我們觀察到威脅行為者通過基本上是“陌生拜訪”的方式發(fā)動大規(guī)模攻擊，但此類攻擊在絕大數(shù)情況下均無法成功。這與BEC前提是一致的，因為這些攻擊需要一定程度上運用社會工程學。

打個比方，如果有人走進您的公司大門，在毫無前因后果的情況下要求您向他支付2萬美元，一個理性、合乎邏輯的人是不會付錢的。成功的BEC攻擊需要繞過這一驗證和核實的步驟，而LLM在這個方面幾乎無濟于事。雖然LLM能生成看起來令人信服的文本，但它們無法建立與某家公司之間的商業(yè)關(guān)系，也不能制作出在外觀和風格上看起來真實、與實際使用發(fā)票一致的發(fā)票。規(guī)模最大的BEC付款事件不僅因為賬戶遭到入侵，也是因為發(fā)票泄露，后者對于攻擊者向受害者提供令人信服的欺詐性發(fā)票是必要的。

Cloudflare在提供這種分析方面擁有獨特的優(yōu)勢，因為我們的電子郵件安全產(chǎn)品每個月都要審查數(shù)億封郵件。在分析這些攻擊時，我們發(fā)現(xiàn)除了文本之外構(gòu)成BEC攻擊的其他趨勢，我們的數(shù)據(jù)表明，絕大多數(shù)BEC攻擊使用了被盜用的賬戶。擁有被盜用賬戶訪問權(quán)限的攻擊者可以收集數(shù)據(jù)并制作出更真實的信息，這些信息可以繞過大多數(shù)安全檢查-因為它們來自一個合法的電子郵件地址。過去一年內(nèi)，涉及1萬美元或以上金額的BEC攻擊中有80%涉及被盜用賬戶。其中，75%的攻擊進行了對話劫持，并將對話重定向到新注冊的域名上。這與觀察結(jié)果一致，即絕大多數(shù)“成功”的攻擊——這意味著威脅行為者成功地侵入了他們的目標——都利用了一個相似域名。這個欺詐性域名幾乎總是新近注冊的。我們還發(fā)現(xiàn)，以上涉及1萬美元以上金額的攻擊中，有55%企圖改變ACH支付詳情。

如下示例顯示了上述情況在一次BEC攻擊中是如何發(fā)展的：

消息中的文本沒有任何語法錯誤，且易于閱讀，然而我們的情緒模型被文本觸發(fā)，檢測到一種與發(fā)票結(jié)合的緊迫感——這是攻擊者常用的一種模式。然而，這封郵件中還有許多其他東西觸發(fā)了不同的模型。例如，攻擊者假裝來自PricewaterhouseCoopers（普華永道），但發(fā)出此電子郵件的域名與之不匹配。我們還注意到發(fā)送域名是新近注冊的，提醒我們此消息可能并不合法。最后，我們的其中一個模型會根據(jù)每個客戶的溝通模式生成一張獨特的社交圖譜。這個圖譜提供了有關(guān)每個用戶的通訊對象及通訊內(nèi)容的信息。該模型指出，鑒于這一通訊是最近才發(fā)生的，這封郵件并非常規(guī)事務(wù)。上述所有信號，加上我們的情緒模型輸出的結(jié)果，使我們的分析引擎得出結(jié)論，即這是一個惡意消息，并禁止此消息的收件人與之交互。

生成式AI正在持續(xù)變化和改進，因此在這個領(lǐng)域還有很多東西有待發(fā)現(xiàn)。雖然AI創(chuàng)建的BEC攻擊出現(xiàn)有可能最終導致實際網(wǎng)絡(luò)環(huán)境中的攻擊增加，但我們認為對于擁有強大安全解決方案和流程的企業(yè)和組織而言，此類攻擊的成功率并不會上升。

網(wǎng)絡(luò)釣魚攻擊趨勢

去年8月，我們發(fā)布了2023年網(wǎng)絡(luò)釣魚報告。在去年，Cloudflare處理了大約130億封電子郵件，其中包括阻止了大約2.5億封惡意郵件到達客戶的收件箱。盡管2023年是“ChatGPT之年”，但我們的分析發(fā)現(xiàn)，攻擊仍在圍繞著長期存在的手段進行，例如惡意鏈接。

大多數(shù)攻擊者仍然試圖讓用戶點擊鏈接或下載惡意文件。如前所述，雖然生成式AI可以幫助制作可讀且令人信服的消息內(nèi)容，但它無法幫助攻擊者掩蓋攻擊的這些特征。

Cloudflare的電子郵件安全模型采取了一種復雜的方法來檢查它們遇到的每個鏈接和附件。模型會爬取鏈接并根據(jù)域名本身的信息以及頁面元素和品牌進行仔細審查。我們的爬蟲程序還會檢查輸入字段，以查看鏈接是否為潛在的憑據(jù)收集器。如果攻擊者將惡意鏈接隱藏在重定向或地理鎖后方，我們的爬蟲程序可以利用Cloudflare網(wǎng)絡(luò)來繞過任何可能的障礙。

我們的檢測系統(tǒng)在處理附件時同樣嚴格。例如，我們的系統(tǒng)知道附件的某些部分很容易被偽造，而其他部分則不然。因此，我們的系統(tǒng)將附件解構(gòu)為它們的基本組件，并檢查其中是否存在異常。這使我們能夠比傳統(tǒng)沙箱更準確地掃描惡意文件，因為傳統(tǒng)沙箱可能被攻擊者繞過。

攻擊者可以利用LLM來制作更有說服力的消息，促使用戶采取某些行動，但我們的掃描能力能夠捕捉到惡意內(nèi)容，并防止用戶與之互動。

解構(gòu)一封電子郵件

電子郵件包含的信息超出其正文和主題。在構(gòu)建檢測機制時，我們喜歡將電子郵件視為同時具有可變和不可變的屬性。像正文這樣的可變屬性很容易被偽造，而偽造像發(fā)件人IP地址這樣的可變屬性則需要更多功夫。然而，有些不可變屬性是完全無法更改的，例如發(fā)件人域名的年齡，以及域名與已知品牌的相似度。作為示例，讓我們來看看曾收到的一封郵件。

示例電子郵件內(nèi)容

雖然上面的消息是用戶看到的東西，但這只是電子郵件內(nèi)容的一小部分。下面是消息頭的一個片段。這些信息對于收件人來說通常是無用的(并且大部分默認不顯示)，但對于作為防御者的我們來說，它包含了寶貴的信息。例如，我們的檢測機制可以看到對DMARC、SPF和DKIM的所有初步檢查。這些結(jié)果讓我們知道這封電子郵件是否被允許以所聲稱的發(fā)件人的名義發(fā)送，以及它在到達我們的收件箱之前是否被修改。我們的模型還可以看到發(fā)送人的客戶端IP地址，并使用它來檢查它們的信譽。我們還可以查看電子郵件是從哪個域發(fā)送的，并檢查它是否匹配消息中包含的品牌。

示例電子郵件頭

如您所見，消息的正文和主題只是構(gòu)成一封電子郵件的一小部分。在對電子郵件進行分析時，我們的模型會全面解析消息的每一個方面，以評估其安全性。我們的一些模型確實會專注于分析消息正文中的指標，例如情緒，但是消息風險的最終評估是與評估電子郵件每一個方面的模型協(xié)同進行的。所有這些信息都會呈現(xiàn)給使用我們產(chǎn)品的安全從業(yè)者。

Cloudfalre的電子郵件安全模型

我們使用以消息的不同屬性訓練的多個模型的理念在我們所謂的SPARSE引擎中達到了頂峰。在2023年Forrester Wave?企業(yè)電子郵件安全報告中，分析師提到我們使用SPARSE引擎捕獲網(wǎng)絡(luò)釣魚郵件的能力，并表示“Cloudflare使用其先發(fā)制人的爬網(wǎng)方法來發(fā)現(xiàn)正在構(gòu)建中的網(wǎng)絡(luò)釣魚活動基礎(chǔ)設(shè)施。它的Small Pattern Analytics Engine(SPARSE)引擎結(jié)合了多個機器學習模型，包括自然語言建模、情緒和結(jié)構(gòu)分析以及信任圖譜“?！?】詳見文未

我們的SPARSE引擎將通過使用我們觀察到的消息不斷更新。鑒于我們每年能夠分析數(shù)十億條消息，我們能夠更早地檢測到趨勢，并將這些趨勢反饋到我們的模型中以提高它們的有效性。最近的一個例子發(fā)生在2023年底，當時我們注意到二維碼攻擊有所增加。攻擊者部署了不同的技術(shù)來混淆二維碼，使得OCR掃描器無法掃描圖像，但手機攝像頭會將用戶引導至惡意鏈接。所用技術(shù)包括使圖像變得極小，以至于掃描器無法看清，或者是對圖像進行像素移位。然而，將這些消息輸入我們的模型，訓練它們查看從這些活動發(fā)送的電子郵件的所有特性。通過這種數(shù)據(jù)組合，我們能夠創(chuàng)建檢測機制，在這些活動到達客戶收件箱之前捕捉它們。

先發(fā)制人的掃描方法使我們能夠抵抗威脅行為者的行為波動。即使如今攻擊者越來越頻繁地使用LLM作為工具，而且將來還會有其他手段，我們也將能夠保護我們的客戶免受那些威脅。

電子郵件釣魚的未來

鑒于攻擊者會嘗試以各種創(chuàng)造性的方式對用戶發(fā)動釣魚攻擊，保護電子郵件收件箱是一項艱巨的任務(wù)。這個領(lǐng)域不斷發(fā)展，而且隨著新技術(shù)普及，它將繼續(xù)發(fā)生巨大變化。類似使用生成式AI的趨勢將繼續(xù)變化，但我們構(gòu)建電子郵件檢測的方法和方式將繼續(xù)保護我們的客戶。

如果您對Cloudflare的Cloud Email Security如何保護您的組織免受釣魚威脅感興趣，歡迎聯(lián)系Cloudflare以安排一次免費的網(wǎng)絡(luò)釣魚風險評估。如果您是Microsoft 365客戶，您也可以運行我們的免費回溯掃描以查看您當前的解決方案錯過了哪些釣魚電子郵件。

【1】Source:The Forrester Wave:Enterprise Email Security,Q2,2023

The Forrester Wave?is copyrighted by Forrester Research,Inc.Forrester and Forrester Wave are trademarks of Forrester Research,Inc.The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores,weightings,and comments.Forrester does not endorse any vendor,product,or service depicted in the Forrester Wave.Information is based on best available resources.Opinions reflect judgment at the time and are subject to change.