現(xiàn)已公測(cè)｜Log Explorer：在沒(méi)有第三方存儲(chǔ)的情況下監(jiān)視安全事件

隆重宣布Log Explorer的公測(cè)版本正式上線，其允許您直接從Cloudflare控制面板查看HTTP和安全事件日志。Log Explorer是Security Analytics的擴(kuò)展，讓您能夠查看相關(guān)的原始日志。您可以在Cloudflare儀表板中分析、調(diào)查和監(jiān)控安全攻擊，而無(wú)需將日志轉(zhuǎn)發(fā)給第三方安全分析工具，從而縮短解決時(shí)間并降低總體擁有成本。

背景

Security Analytics使您能夠在單一地點(diǎn)分析所有HTTP流量，為您提供所需的安全視角，以識(shí)別最重要的問(wèn)題并采取相應(yīng)行動(dòng)：未被緩解的潛在惡意流量。Security Analytic包括內(nèi)置視圖，如頂部統(tǒng)計(jì)數(shù)據(jù)和上下文快速篩選器，結(jié)合直觀的頁(yè)面布局，可實(shí)現(xiàn)快速探索和驗(yàn)證。

我們采用了通過(guò)自適應(yīng)比特率（ABR）分析進(jìn)行的數(shù)據(jù)采樣旨在使我們的豐富分析儀表盤(pán)具有快速查詢性能。這非常適用于提供數(shù)據(jù)的高級(jí)匯總視圖。但我們從許多Security Analytic高級(jí)用戶處得到反饋，有時(shí)其需要訪問(wèn)更詳細(xì)的數(shù)據(jù)視圖——其需要日志。

日志為當(dāng)今計(jì)算機(jī)系統(tǒng)的運(yùn)行提供了關(guān)鍵的可見(jiàn)性。工程師和SOC分析員每天依靠日志解決問(wèn)題、識(shí)別和調(diào)查安全事件并優(yōu)化應(yīng)用程序和基礎(chǔ)設(shè)施的性能、可靠性和安全性。傳統(tǒng)的度量或監(jiān)控解決方案提供匯總或統(tǒng)計(jì)數(shù)據(jù)，可用于識(shí)別趨勢(shì)。度量標(biāo)準(zhǔn)能很好地識(shí)別問(wèn)題發(fā)生的原因，但缺乏幫助工程師揭示問(wèn)題發(fā)生原因的詳細(xì)事件。

工程師和SOC分析師依靠原始日志數(shù)據(jù)來(lái)回答以下問(wèn)題：

-403錯(cuò)誤增加的原因是什么？

-該IP地址訪問(wèn)了哪些數(shù)據(jù)？

-該特定用戶會(huì)話的用戶體驗(yàn)如何？

一般來(lái)說(shuō)，這些工程師和分析師通常需要搭建一系列的各種監(jiān)控工具，以捕獲日志并獲得這種可視性。隨著越來(lái)越多的企業(yè)使用多種云，或同時(shí)使用云和本地工具和架構(gòu)的混合環(huán)境，擁有一個(gè)統(tǒng)一的平臺(tái)來(lái)重新獲得對(duì)這種日益復(fù)雜的環(huán)境的可見(jiàn)性至關(guān)重要。隨著越來(lái)越多的公司轉(zhuǎn)向云原生架構(gòu)，我們將Cloudflare的全球連通云視為其性能和安全策略不可或缺的組成部分。

Log Explorer提供了在Cloudflare內(nèi)存儲(chǔ)和探索日志數(shù)據(jù)的一種成本更低的選擇。迄今為止，我們一直提供將日志導(dǎo)出到昂貴的第三方工具的選項(xiàng)，而現(xiàn)在借助Log Explorer，您無(wú)需離開(kāi)Cloudflare控制面板，即可方便快捷地查看日志數(shù)據(jù)。

Log Explorer的功能

無(wú)論您是調(diào)查潛在事件的SOC工程師，還是有特定日志保留要求的合規(guī)官，Log Explorer均可滿足您的需求。其能夠以無(wú)上限和可自定義的時(shí)間期限存儲(chǔ)您的Cloudflare日志，使其能夠在Cloudflare控制面板內(nèi)直接訪問(wèn)。

支持的功能包括:

-搜索HTTP請(qǐng)求或安全事件日志

-根據(jù)任何字段和某些標(biāo)準(zhǔn)運(yùn)算符進(jìn)行篩選

-在基本過(guò)濾模式或SQL查詢界面之間進(jìn)行切換

-選擇要顯示的字段

-以表格形式查看日志事件

-查找與Ray ID相關(guān)聯(lián)的HTTP請(qǐng)求記錄

針對(duì)未被緩解的流量進(jìn)行精準(zhǔn)查找

作為SOC分析師，您的工作是監(jiān)控并應(yīng)對(duì)組織網(wǎng)絡(luò)中的威脅和事件。使用Security Analytic，現(xiàn)在又有了Log Explorer，您可以在同一個(gè)地方識(shí)別異常并進(jìn)行取證調(diào)查。

讓我們通過(guò)一個(gè)示例來(lái)加深理解：

在Security Analytics儀表板上，您可以在“Insights”面板中看到某些被標(biāo)記為潛在攻擊，但尚未得到的緩解的流量。

單擊過(guò)濾按鈕可縮小范圍，以對(duì)這些請(qǐng)求進(jìn)行更深入的調(diào)查。

在日志采樣視圖中，您可以看到這些請(qǐng)求大多來(lái)自一個(gè)共同的客戶端IP地址。

您還可以看到Cloudflare已將所有這些請(qǐng)求標(biāo)記為機(jī)器人流量。利用這些信息，您就可以制定WAF規(guī)則，阻止來(lái)自該IP地址的所有流量，或阻止機(jī)器人評(píng)分低于10的所有流量。

比如，假設(shè)合規(guī)團(tuán)隊(duì)想要收集有關(guān)此攻擊范圍和影響的文檔。我們可以進(jìn)一步挖掘在此期間的日志，查看攻擊者試圖訪問(wèn)的所有內(nèi)容。

首先，我們可以使用Log Explorer在Security Analytic中看到的峰值時(shí)間范圍內(nèi)來(lái)查詢與可疑IP地址相關(guān)的HTTP請(qǐng)求。

我們通過(guò)添加OriginResponseBytes字段并更新查詢，以顯示OriginResponseBytes>0的請(qǐng)求，來(lái)查看攻擊者是否會(huì)外泄數(shù)據(jù)。

查找和調(diào)查誤報(bào)

利用Log Explorer獲得完整的日志訪問(wèn)權(quán)限后，您現(xiàn)在可以執(zhí)行搜索以查找特定請(qǐng)求。

當(dāng)用戶對(duì)特定網(wǎng)站的請(qǐng)求被阻止時(shí)，就會(huì)出現(xiàn)403錯(cuò)誤，Cloudflare的安全產(chǎn)品使用IP聲譽(yù)和基于ML技術(shù)的WAF攻擊分?jǐn)?shù)等因素，來(lái)評(píng)估特定的HTTP請(qǐng)求是否為惡意。雖然這非常有效，但有時(shí)請(qǐng)求可能被錯(cuò)誤地標(biāo)記為惡意并受到阻止。

出現(xiàn)這種情況時(shí)，我們現(xiàn)在可以使用Log Explorer來(lái)識(shí)別這些請(qǐng)求以及其被阻止的原因，然后相應(yīng)地調(diào)整相關(guān)的WAF規(guī)則。

或者，如果您希望利用Ray ID跟蹤特定請(qǐng)求（Ray ID是分配給通過(guò)Cloudflare的每個(gè)請(qǐng)求的標(biāo)識(shí)符），您可以通過(guò)Log Explorer進(jìn)行一次查詢。

請(qǐng)注意，LIMIT子句默認(rèn)包含在查詢中，但對(duì)RayID查詢沒(méi)有影響，因?yàn)镽ayID是唯一的，使用RayID過(guò)濾字段時(shí)只會(huì)返回一條記錄。

我們?nèi)绾螛?gòu)建Log Explorer

利用·Log Explorer，我們?cè)贑loudflare R2的基礎(chǔ)上構(gòu)建了一個(gè)長(zhǎng)期的、僅支持追加的日志存儲(chǔ)平臺(tái)。Log Explorer利用Delta Lake協(xié)議（開(kāi)源存儲(chǔ)框架，用于在云對(duì)象存儲(chǔ)之上構(gòu)建高性能、ACID兼容的數(shù)據(jù)庫(kù)）。換言之，Log Explorer融合了大型、經(jīng)濟(jì)高效的存儲(chǔ)系統(tǒng)（Cloudflare R2）的特點(diǎn)，具備強(qiáng)大的一致性和高性能。此外，Log Explorer還為您的Cloudflare日志提供了一個(gè)SQL接口。

每個(gè)Log Explorer數(shù)據(jù)集都是按客戶級(jí)別存儲(chǔ)的，就像Cloudflare D1一樣，因此您的數(shù)據(jù)不會(huì)與其他客戶的數(shù)據(jù)混在一起。未來(lái)，這種單租戶存儲(chǔ)模式將使您能夠靈活地創(chuàng)建自身的保留策略，并決定要將數(shù)據(jù)存儲(chǔ)在哪個(gè)區(qū)域。

在底層，每個(gè)客戶的數(shù)據(jù)集都存儲(chǔ)為R2桶中的Delta表。作為一種存儲(chǔ)格式，Delta表使用Hive的分區(qū)命名約定將Apache Parquet對(duì)象組織到目錄中。重要的是，Delta表將這些存儲(chǔ)對(duì)象與僅追加、經(jīng)過(guò)檢查點(diǎn)的事務(wù)日志配對(duì)。這種設(shè)計(jì)允許Log Explorer支持樂(lè)觀并發(fā)的多個(gè)寫(xiě)入器。

Cloudflare開(kāi)發(fā)的眾多產(chǎn)品都是我們團(tuán)隊(duì)自身試圖解決工作過(guò)程中所遇到的挑戰(zhàn)的直接結(jié)果。Log Explorer就是這種自家用文化的完美范例。樂(lè)觀并發(fā)的寫(xiě)入需要在底層對(duì)象存儲(chǔ)中進(jìn)行原子更新，基于我們的需求，R2新增了一個(gè)具有強(qiáng)大一致性的PutIfAbsent操作。R2的這一特性堪稱(chēng)完美。該原子操作將Log Explorer與基于亞馬遜Web服務(wù)S3的Delta Lake解決方案區(qū)分開(kāi)來(lái)，后者需要使用外部存儲(chǔ)來(lái)同步寫(xiě)操作，從而帶來(lái)操作負(fù)擔(dān)。

Log Explorer以Rust語(yǔ)言編程而成，使用的開(kāi)源庫(kù)包括delta-rs（Delta Lake協(xié)議的Rust原生實(shí)現(xiàn)），以及Apache Arrow DataFusion（一個(gè)非?？焖?、可擴(kuò)展的查詢引擎）。在Cloudflare，由于其安全性和性能優(yōu)勢(shì)，Rust已成為新產(chǎn)品開(kāi)發(fā)的熱門(mén)選擇。

下一步

我們知道，應(yīng)用程序安全日志只能了解部分您環(huán)境中發(fā)生的情況。未來(lái)的發(fā)展將更加令人振奮，包括Analytics和Log Explorer之間更緊密、更無(wú)縫的集成，增加包括Zero Trust日志在內(nèi)的更多數(shù)據(jù)集，定義自定義保留期的功能，以及集成的自定義警報(bào)。