消除對(duì)生成式AI的恐懼：Cloudflare如何保護(hù)收件箱以防御AI增強(qiáng)的網(wǎng)絡(luò)釣魚

電子郵件仍然是攻擊者試圖入侵或勒索組織時(shí)使用的最主要攻擊手段。鑒于電子郵件在商業(yè)溝通中的頻繁使用，網(wǎng)絡(luò)釣魚攻擊一直普遍存在。隨著攻擊者可用的工具不斷發(fā)展，攻擊者的手段也在規(guī)避安全保護(hù)措施的同時(shí)不斷改進(jìn)。幾款A(yù)I大語言模型（LLM）發(fā)布引發(fā)一陣狂熱，人們爭相發(fā)現(xiàn)基于生成式AI能力的全新應(yīng)用，并消耗著安全研究人員的精力。其中一種應(yīng)用則是被用于創(chuàng)造釣魚攻擊的內(nèi)容。

網(wǎng)絡(luò)釣魚是否成功依賴于攻擊者是否看起來真實(shí)可信。多年來，我們觀察到兩種不同形式的“真實(shí)性”，分別是視覺上和組織上。視覺上“真實(shí)”的攻擊使用標(biāo)識(shí)、圖像等來建立信任，而組織上“真實(shí)”的攻擊活動(dòng)利用相關(guān)商業(yè)動(dòng)態(tài)和社會(huì)關(guān)系來推動(dòng)他們的成功。攻擊者可以通過多種方式利用LLM使其電子郵件看起來更加真實(shí)可信。攻擊者常用的一種技術(shù)是利用LLM將他們撰寫的電子郵件進(jìn)行翻譯和修改，使其成為表面上看起來更有說服力的信息。更復(fù)雜的攻擊將LLM與從被攻陷賬戶中收集的個(gè)人數(shù)據(jù)配對(duì)，編寫個(gè)性化的、組織上看起來“真實(shí)可信”的消息。

例如，WormGPT能夠?qū)σ环庑形淖玖拥碾娮余]件進(jìn)行重新創(chuàng)作，使其在語法、流暢性和語氣上更加出色。結(jié)果將生成一封流暢、行文出色的郵件，更容易被認(rèn)為是真實(shí)可信的。論壇中的威脅行為者被鼓勵(lì)用自己的母語創(chuàng)建粗略的草稿，然后充分利用LLM發(fā)揮作用。

利用LLM的一種網(wǎng)絡(luò)釣魚形式是企業(yè)電子郵件破壞(BEC)攻擊。此類攻擊可造成毀滅性的影響。在這些攻擊中，惡意行為者試圖欺騙受害者支付欺詐性發(fā)票的款項(xiàng)；LLM可以幫助使這些消息在組織上聽起來更具真實(shí)性。對(duì)于希望阻止資金未經(jīng)授權(quán)流出的組織而言，BEC攻擊是最關(guān)注的問題，但LLM也可用于制作其他類型的網(wǎng)絡(luò)釣魚消息。

然而，這些由LLM制作的消息仍然依賴用戶執(zhí)行操作，例如查看虛假發(fā)票或與鏈接交互，而偽造這兩者并非易事。而且，LLM撰寫的每一封電子郵件依然是電子郵件，其中包含諸如發(fā)件人聲譽(yù)、通信模式和與每條消息捆綁的元數(shù)據(jù)等一系列其他信號(hào)。通過部署正確的緩解策略和工具，我們能夠有效地阻止通過LLM增強(qiáng)的攻擊。

盡管ChatGPT的流行使LLM最近備受關(guān)注，但這類模型并不是新事物；Cloudflare多年來一直在訓(xùn)練其模型以抵御通過LLM增強(qiáng)的攻擊。我們的模型能夠檢視電子郵件的所有組成部分，確保Cloudflare的客戶已經(jīng)受到保護(hù)，并將在未來繼續(xù)受到保護(hù)，因?yàn)槲覀兊耐{研究團(tuán)隊(duì)通過分析數(shù)十億封郵件開發(fā)的機(jī)器學(xué)習(xí)系統(tǒng)不會(huì)被措辭優(yōu)美的電子郵件所欺騙。

生成式AI的威脅和折衷

AI生成攻擊中最危險(xiǎn)的一種是基于攻擊前收集的數(shù)據(jù)進(jìn)行個(gè)性化定制的。威脅行為者通過更傳統(tǒng)的賬戶入侵方式獲得這些信息并進(jìn)行迭代。一旦獲得足夠的信息，他們就會(huì)發(fā)動(dòng)攻擊。這種攻擊的目標(biāo)非常明確，具有高度針對(duì)性。AI的好處在于規(guī)模運(yùn)作；然而，為了創(chuàng)建郵件以準(zhǔn)確模擬攻擊者要冒充的身份，有必要收集大量收據(jù)。

雖然由AI生成的攻擊在個(gè)性化和可擴(kuò)展性方面具有優(yōu)勢，但它們的有效性取決于有足夠的樣本來確保真實(shí)性。傳統(tǒng)的威脅行為者也可以利用社會(huì)工程手段來實(shí)現(xiàn)類似的結(jié)果，但沒有AI的效率和可擴(kuò)展性。正如我們將在下一節(jié)討論的那樣，機(jī)會(huì)和時(shí)機(jī)的基本限制仍適用于所有攻擊者，無論使用何種技術(shù)。

要防御此類攻擊，企業(yè)和組織必須采用多層次的網(wǎng)絡(luò)安全方法。其中包括員工意識(shí)培訓(xùn)，采取利用AI和傳統(tǒng)技術(shù)的高級(jí)威脅檢測系統(tǒng)，以及不斷更新安全實(shí)踐以防范AI和傳統(tǒng)的網(wǎng)絡(luò)釣魚攻擊。

威脅行為者可以利用AI生成攻擊，但這會(huì)帶來一些折衷。他們能成功進(jìn)行的攻擊的數(shù)量上限與他們掌握的機(jī)會(huì)多寡，以及他們可用于構(gòu)造可信消息的數(shù)據(jù)成正比。他們需要獲取信息和把握機(jī)會(huì)，否則攻擊將不太可能成功。

BEC攻擊和LLM

BEC攻擊是企業(yè)和組織最關(guān)注的問題，因?yàn)楣粽吣芡ㄟ^這種方式從目標(biāo)竊取大量金錢。由于BEC主要基于文本，而LLM則似乎會(huì)將導(dǎo)致此類攻擊泛濫起來。然而，現(xiàn)實(shí)情況大不相同。限制這種看法成為現(xiàn)實(shí)的主要障礙是機(jī)會(huì)。我們將機(jī)會(huì)定義為時(shí)間中的一個(gè)窗口，期間機(jī)緣巧合造就一個(gè)可被利用的條件，且該條件最終可以被加以利用——例如，攻擊者可能使用來自數(shù)據(jù)泄露的數(shù)據(jù)，來識(shí)別某公司供應(yīng)商支付計(jì)劃中的一個(gè)機(jī)會(huì)。威脅行為者可能具備動(dòng)機(jī)、手段和資源來實(shí)施一次看似真實(shí)的BEC攻擊，但如果缺乏機(jī)會(huì)，攻擊將以失敗告終。雖然我們觀察到威脅行為者通過基本上是“陌生拜訪”的方式發(fā)動(dòng)大規(guī)模攻擊，但此類攻擊在絕大數(shù)情況下均無法成功。這與BEC前提是一致的，因?yàn)檫@些攻擊需要一定程度上運(yùn)用社會(huì)工程學(xué)。

打個(gè)比方，如果有人走進(jìn)您的公司大門，在毫無前因后果的情況下要求您向他支付2萬美元，一個(gè)理性、合乎邏輯的人是不會(huì)付錢的。成功的BEC攻擊需要繞過這一驗(yàn)證和核實(shí)的步驟，而LLM在這個(gè)方面幾乎無濟(jì)于事。雖然LLM能生成看起來令人信服的文本，但它們無法建立與某家公司之間的商業(yè)關(guān)系，也不能制作出在外觀和風(fēng)格上看起來真實(shí)、與實(shí)際使用發(fā)票一致的發(fā)票。規(guī)模最大的BEC付款事件不僅因?yàn)橘~戶遭到入侵，也是因?yàn)榘l(fā)票泄露，后者對(duì)于攻擊者向受害者提供令人信服的欺詐性發(fā)票是必要的。

Cloudflare在提供這種分析方面擁有獨(dú)特的優(yōu)勢，因?yàn)槲覀兊碾娮余]件安全產(chǎn)品每個(gè)月都要審查數(shù)億封郵件。在分析這些攻擊時(shí)，我們發(fā)現(xiàn)除了文本之外構(gòu)成BEC攻擊的其他趨勢，我們的數(shù)據(jù)表明，絕大多數(shù)BEC攻擊使用了被盜用的賬戶。擁有被盜用賬戶訪問權(quán)限的攻擊者可以收集數(shù)據(jù)并制作出更真實(shí)的信息，這些信息可以繞過大多數(shù)安全檢查-因?yàn)樗鼈儊碜砸粋€(gè)合法的電子郵件地址。過去一年內(nèi)，涉及1萬美元或以上金額的BEC攻擊中有80%涉及被盜用賬戶。其中，75%的攻擊進(jìn)行了對(duì)話劫持，并將對(duì)話重定向到新注冊的域名上。這與觀察結(jié)果一致，即絕大多數(shù)“成功”的攻擊——這意味著威脅行為者成功地侵入了他們的目標(biāo)——都利用了一個(gè)相似域名。這個(gè)欺詐性域名幾乎總是新近注冊的。我們還發(fā)現(xiàn)，以上涉及1萬美元以上金額的攻擊中，有55%企圖改變ACH支付詳情。

如下示例顯示了上述情況在一次BEC攻擊中是如何發(fā)展的：

消息中的文本沒有任何語法錯(cuò)誤，且易于閱讀，然而我們的情緒模型被文本觸發(fā)，檢測到一種與發(fā)票結(jié)合的緊迫感——這是攻擊者常用的一種模式。然而，這封郵件中還有許多其他東西觸發(fā)了不同的模型。例如，攻擊者假裝來自PricewaterhouseCoopers（普華永道），但發(fā)出此電子郵件的域名與之不匹配。我們還注意到發(fā)送域名是新近注冊的，提醒我們此消息可能并不合法。最后，我們的其中一個(gè)模型會(huì)根據(jù)每個(gè)客戶的溝通模式生成一張獨(dú)特的社交圖譜。這個(gè)圖譜提供了有關(guān)每個(gè)用戶的通訊對(duì)象及通訊內(nèi)容的信息。該模型指出，鑒于這一通訊是最近才發(fā)生的，這封郵件并非常規(guī)事務(wù)。上述所有信號(hào)，加上我們的情緒模型輸出的結(jié)果，使我們的分析引擎得出結(jié)論，即這是一個(gè)惡意消息，并禁止此消息的收件人與之交互。

生成式AI正在持續(xù)變化和改進(jìn)，因此在這個(gè)領(lǐng)域還有很多東西有待發(fā)現(xiàn)。雖然AI創(chuàng)建的BEC攻擊出現(xiàn)有可能最終導(dǎo)致實(shí)際網(wǎng)絡(luò)環(huán)境中的攻擊增加，但我們認(rèn)為對(duì)于擁有強(qiáng)大安全解決方案和流程的企業(yè)和組織而言，此類攻擊的成功率并不會(huì)上升。

網(wǎng)絡(luò)釣魚攻擊趨勢

去年8月，我們發(fā)布了2023年網(wǎng)絡(luò)釣魚報(bào)告。在去年，Cloudflare處理了大約130億封電子郵件，其中包括阻止了大約2.5億封惡意郵件到達(dá)客戶的收件箱。盡管2023年是“ChatGPT之年”，但我們的分析發(fā)現(xiàn)，攻擊仍在圍繞著長期存在的手段進(jìn)行，例如惡意鏈接。

大多數(shù)攻擊者仍然試圖讓用戶點(diǎn)擊鏈接或下載惡意文件。如前所述，雖然生成式AI可以幫助制作可讀且令人信服的消息內(nèi)容，但它無法幫助攻擊者掩蓋攻擊的這些特征。

Cloudflare的電子郵件安全模型采取了一種復(fù)雜的方法來檢查它們遇到的每個(gè)鏈接和附件。模型會(huì)爬取鏈接并根據(jù)域名本身的信息以及頁面元素和品牌進(jìn)行仔細(xì)審查。我們的爬蟲程序還會(huì)檢查輸入字段，以查看鏈接是否為潛在的憑據(jù)收集器。如果攻擊者將惡意鏈接隱藏在重定向或地理鎖后方，我們的爬蟲程序可以利用Cloudflare網(wǎng)絡(luò)來繞過任何可能的障礙。

我們的檢測系統(tǒng)在處理附件時(shí)同樣嚴(yán)格。例如，我們的系統(tǒng)知道附件的某些部分很容易被偽造，而其他部分則不然。因此，我們的系統(tǒng)將附件解構(gòu)為它們的基本組件，并檢查其中是否存在異常。這使我們能夠比傳統(tǒng)沙箱更準(zhǔn)確地掃描惡意文件，因?yàn)閭鹘y(tǒng)沙箱可能被攻擊者繞過。

攻擊者可以利用LLM來制作更有說服力的消息，促使用戶采取某些行動(dòng)，但我們的掃描能力能夠捕捉到惡意內(nèi)容，并防止用戶與之互動(dòng)。

解構(gòu)一封電子郵件

電子郵件包含的信息超出其正文和主題。在構(gòu)建檢測機(jī)制時(shí)，我們喜歡將電子郵件視為同時(shí)具有可變和不可變的屬性。像正文這樣的可變屬性很容易被偽造，而偽造像發(fā)件人IP地址這樣的可變屬性則需要更多功夫。然而，有些不可變屬性是完全無法更改的，例如發(fā)件人域名的年齡，以及域名與已知品牌的相似度。作為示例，讓我們來看看曾收到的一封郵件。

示例電子郵件內(nèi)容

雖然上面的消息是用戶看到的東西，但這只是電子郵件內(nèi)容的一小部分。下面是消息頭的一個(gè)片段。這些信息對(duì)于收件人來說通常是無用的(并且大部分默認(rèn)不顯示)，但對(duì)于作為防御者的我們來說，它包含了寶貴的信息。例如，我們的檢測機(jī)制可以看到對(duì)DMARC、SPF和DKIM的所有初步檢查。這些結(jié)果讓我們知道這封電子郵件是否被允許以所聲稱的發(fā)件人的名義發(fā)送，以及它在到達(dá)我們的收件箱之前是否被修改。我們的模型還可以看到發(fā)送人的客戶端IP地址，并使用它來檢查它們的信譽(yù)。我們還可以查看電子郵件是從哪個(gè)域發(fā)送的，并檢查它是否匹配消息中包含的品牌。

示例電子郵件頭

如您所見，消息的正文和主題只是構(gòu)成一封電子郵件的一小部分。在對(duì)電子郵件進(jìn)行分析時(shí)，我們的模型會(huì)全面解析消息的每一個(gè)方面，以評(píng)估其安全性。我們的一些模型確實(shí)會(huì)專注于分析消息正文中的指標(biāo)，例如情緒，但是消息風(fēng)險(xiǎn)的最終評(píng)估是與評(píng)估電子郵件每一個(gè)方面的模型協(xié)同進(jìn)行的。所有這些信息都會(huì)呈現(xiàn)給使用我們產(chǎn)品的安全從業(yè)者。

Cloudfalre的電子郵件安全模型

我們使用以消息的不同屬性訓(xùn)練的多個(gè)模型的理念在我們所謂的SPARSE引擎中達(dá)到了頂峰。在2023年Forrester Wave?企業(yè)電子郵件安全報(bào)告中，分析師提到我們使用SPARSE引擎捕獲網(wǎng)絡(luò)釣魚郵件的能力，并表示“Cloudflare使用其先發(fā)制人的爬網(wǎng)方法來發(fā)現(xiàn)正在構(gòu)建中的網(wǎng)絡(luò)釣魚活動(dòng)基礎(chǔ)設(shè)施。它的Small Pattern Analytics Engine(SPARSE)引擎結(jié)合了多個(gè)機(jī)器學(xué)習(xí)模型，包括自然語言建模、情緒和結(jié)構(gòu)分析以及信任圖譜“。【1】詳見文未

我們的SPARSE引擎將通過使用我們觀察到的消息不斷更新。鑒于我們每年能夠分析數(shù)十億條消息，我們能夠更早地檢測到趨勢，并將這些趨勢反饋到我們的模型中以提高它們的有效性。最近的一個(gè)例子發(fā)生在2023年底，當(dāng)時(shí)我們注意到二維碼攻擊有所增加。攻擊者部署了不同的技術(shù)來混淆二維碼，使得OCR掃描器無法掃描圖像，但手機(jī)攝像頭會(huì)將用戶引導(dǎo)至惡意鏈接。所用技術(shù)包括使圖像變得極小，以至于掃描器無法看清，或者是對(duì)圖像進(jìn)行像素移位。然而，將這些消息輸入我們的模型，訓(xùn)練它們查看從這些活動(dòng)發(fā)送的電子郵件的所有特性。通過這種數(shù)據(jù)組合，我們能夠創(chuàng)建檢測機(jī)制，在這些活動(dòng)到達(dá)客戶收件箱之前捕捉它們。

先發(fā)制人的掃描方法使我們能夠抵抗威脅行為者的行為波動(dòng)。即使如今攻擊者越來越頻繁地使用LLM作為工具，而且將來還會(huì)有其他手段，我們也將能夠保護(hù)我們的客戶免受那些威脅。

電子郵件釣魚的未來

鑒于攻擊者會(huì)嘗試以各種創(chuàng)造性的方式對(duì)用戶發(fā)動(dòng)釣魚攻擊，保護(hù)電子郵件收件箱是一項(xiàng)艱巨的任務(wù)。這個(gè)領(lǐng)域不斷發(fā)展，而且隨著新技術(shù)普及，它將繼續(xù)發(fā)生巨大變化。類似使用生成式AI的趨勢將繼續(xù)變化，但我們構(gòu)建電子郵件檢測的方法和方式將繼續(xù)保護(hù)我們的客戶。

如果您對(duì)Cloudflare的Cloud Email Security如何保護(hù)您的組織免受釣魚威脅感興趣，歡迎聯(lián)系Cloudflare以安排一次免費(fèi)的網(wǎng)絡(luò)釣魚風(fēng)險(xiǎn)評(píng)估。如果您是Microsoft 365客戶，您也可以運(yùn)行我們的免費(fèi)回溯掃描以查看您當(dāng)前的解決方案錯(cuò)過了哪些釣魚電子郵件。

【1】Source:The Forrester Wave:Enterprise Email Security,Q2,2023

The Forrester Wave?is copyrighted by Forrester Research,Inc.Forrester and Forrester Wave are trademarks of Forrester Research,Inc.The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores,weightings,and comments.Forrester does not endorse any vendor,product,or service depicted in the Forrester Wave.Information is based on best available resources.Opinions reflect judgment at the time and are subject to change.