隆重宣布Log Explorer的公測版本正式上線，其允許您直接從Cloudflare控制面板查看HTTP和安全事件日志。Log Explorer是Security Analytics的擴展，讓您能夠查看相關(guān)的原始日志。您可以在Cloudflare儀表板中分析、調(diào)查和監(jiān)控安全攻擊，而無需將日志轉(zhuǎn)發(fā)給第三方安全分析工具，從而縮短解決時間并降低總體擁有成本。
背景
Security Analytics使您能夠在單一地點分析所有HTTP流量，為您提供所需的安全視角，以識別最重要的問題并采取相應(yīng)行動：未被緩解的潛在惡意流量。Security Analytic包括內(nèi)置視圖，如頂部統(tǒng)計數(shù)據(jù)和上下文快速篩選器，結(jié)合直觀的頁面布局，可實現(xiàn)快速探索和驗證。
我們采用了通過自適應(yīng)比特率（ABR）分析進行的數(shù)據(jù)采樣旨在使我們的豐富分析儀表盤具有快速查詢性能。這非常適用于提供數(shù)據(jù)的高級匯總視圖。但我們從許多Security Analytic高級用戶處得到反饋，有時其需要訪問更詳細(xì)的數(shù)據(jù)視圖——其需要日志。
日志為當(dāng)今計算機系統(tǒng)的運行提供了關(guān)鍵的可見性。工程師和SOC分析員每天依靠日志解決問題、識別和調(diào)查安全事件并優(yōu)化應(yīng)用程序和基礎(chǔ)設(shè)施的性能、可靠性和安全性。傳統(tǒng)的度量或監(jiān)控解決方案提供匯總或統(tǒng)計數(shù)據(jù)，可用于識別趨勢。度量標(biāo)準(zhǔn)能很好地識別問題發(fā)生的原因，但缺乏幫助工程師揭示問題發(fā)生原因的詳細(xì)事件。
工程師和SOC分析師依靠原始日志數(shù)據(jù)來回答以下問題：
-403錯誤增加的原因是什么？
-該IP地址訪問了哪些數(shù)據(jù)？
-該特定用戶會話的用戶體驗如何？
一般來說，這些工程師和分析師通常需要搭建一系列的各種監(jiān)控工具，以捕獲日志并獲得這種可視性。隨著越來越多的企業(yè)使用多種云，或同時使用云和本地工具和架構(gòu)的混合環(huán)境，擁有一個統(tǒng)一的平臺來重新獲得對這種日益復(fù)雜的環(huán)境的可見性至關(guān)重要。隨著越來越多的公司轉(zhuǎn)向云原生架構(gòu)，我們將Cloudflare的全球連通云視為其性能和安全策略不可或缺的組成部分。
Log Explorer提供了在Cloudflare內(nèi)存儲和探索日志數(shù)據(jù)的一種成本更低的選擇。迄今為止，我們一直提供將日志導(dǎo)出到昂貴的第三方工具的選項，而現(xiàn)在借助Log Explorer，您無需離開Cloudflare控制面板，即可方便快捷地查看日志數(shù)據(jù)。
Log Explorer的功能
無論您是調(diào)查潛在事件的SOC工程師，還是有特定日志保留要求的合規(guī)官，Log Explorer均可滿足您的需求。其能夠以無上限和可自定義的時間期限存儲您的Cloudflare日志，使其能夠在Cloudflare控制面板內(nèi)直接訪問。
支持的功能包括:
-搜索HTTP請求或安全事件日志
-根據(jù)任何字段和某些標(biāo)準(zhǔn)運算符進行篩選
-在基本過濾模式或SQL查詢界面之間進行切換
-選擇要顯示的字段
-以表格形式查看日志事件
-查找與Ray ID相關(guān)聯(lián)的HTTP請求記錄
針對未被緩解的流量進行精準(zhǔn)查找
作為SOC分析師，您的工作是監(jiān)控并應(yīng)對組織網(wǎng)絡(luò)中的威脅和事件。使用Security Analytic，現(xiàn)在又有了Log Explorer，您可以在同一個地方識別異常并進行取證調(diào)查。
讓我們通過一個示例來加深理解：
在Security Analytics儀表板上，您可以在“Insights”面板中看到某些被標(biāo)記為潛在攻擊，但尚未得到的緩解的流量。
單擊過濾按鈕可縮小范圍，以對這些請求進行更深入的調(diào)查。
在日志采樣視圖中，您可以看到這些請求大多來自一個共同的客戶端IP地址。
您還可以看到Cloudflare已將所有這些請求標(biāo)記為機器人流量。利用這些信息，您就可以制定WAF規(guī)則，阻止來自該IP地址的所有流量，或阻止機器人評分低于10的所有流量。
比如，假設(shè)合規(guī)團隊想要收集有關(guān)此攻擊范圍和影響的文檔。我們可以進一步挖掘在此期間的日志，查看攻擊者試圖訪問的所有內(nèi)容。
首先，我們可以使用Log Explorer在Security Analytic中看到的峰值時間范圍內(nèi)來查詢與可疑IP地址相關(guān)的HTTP請求。
我們通過添加OriginResponseBytes字段并更新查詢，以顯示OriginResponseBytes>0的請求，來查看攻擊者是否會外泄數(shù)據(jù)。
查找和調(diào)查誤報
利用Log Explorer獲得完整的日志訪問權(quán)限后，您現(xiàn)在可以執(zhí)行搜索以查找特定請求。
當(dāng)用戶對特定網(wǎng)站的請求被阻止時，就會出現(xiàn)403錯誤，Cloudflare的安全產(chǎn)品使用IP聲譽和基于ML技術(shù)的WAF攻擊分?jǐn)?shù)等因素，來評估特定的HTTP請求是否為惡意。雖然這非常有效，但有時請求可能被錯誤地標(biāo)記為惡意并受到阻止。
出現(xiàn)這種情況時，我們現(xiàn)在可以使用Log Explorer來識別這些請求以及其被阻止的原因，然后相應(yīng)地調(diào)整相關(guān)的WAF規(guī)則。
或者，如果您希望利用Ray ID跟蹤特定請求（Ray ID是分配給通過Cloudflare的每個請求的標(biāo)識符），您可以通過Log Explorer進行一次查詢。
請注意，LIMIT子句默認(rèn)包含在查詢中，但對RayID查詢沒有影響，因為RayID是唯一的，使用RayID過濾字段時只會返回一條記錄。
我們?nèi)绾螛?gòu)建Log Explorer
利用·Log Explorer，我們在Cloudflare R2的基礎(chǔ)上構(gòu)建了一個長期的、僅支持追加的日志存儲平臺。Log Explorer利用Delta Lake協(xié)議（開源存儲框架，用于在云對象存儲之上構(gòu)建高性能、ACID兼容的數(shù)據(jù)庫）。換言之，Log Explorer融合了大型、經(jīng)濟高效的存儲系統(tǒng)（Cloudflare R2）的特點，具備強大的一致性和高性能。此外，Log Explorer還為您的Cloudflare日志提供了一個SQL接口。
每個Log Explorer數(shù)據(jù)集都是按客戶級別存儲的，就像Cloudflare D1一樣，因此您的數(shù)據(jù)不會與其他客戶的數(shù)據(jù)混在一起。未來，這種單租戶存儲模式將使您能夠靈活地創(chuàng)建自身的保留策略，并決定要將數(shù)據(jù)存儲在哪個區(qū)域。
在底層，每個客戶的數(shù)據(jù)集都存儲為R2桶中的Delta表。作為一種存儲格式，Delta表使用Hive的分區(qū)命名約定將Apache Parquet對象組織到目錄中。重要的是，Delta表將這些存儲對象與僅追加、經(jīng)過檢查點的事務(wù)日志配對。這種設(shè)計允許Log Explorer支持樂觀并發(fā)的多個寫入器。
Cloudflare開發(fā)的眾多產(chǎn)品都是我們團隊自身試圖解決工作過程中所遇到的挑戰(zhàn)的直接結(jié)果。Log Explorer就是這種自家用文化的完美范例。樂觀并發(fā)的寫入需要在底層對象存儲中進行原子更新，基于我們的需求，R2新增了一個具有強大一致性的PutIfAbsent操作。R2的這一特性堪稱完美。該原子操作將Log Explorer與基于亞馬遜Web服務(wù)S3的Delta Lake解決方案區(qū)分開來，后者需要使用外部存儲來同步寫操作，從而帶來操作負(fù)擔(dān)。
Log Explorer以Rust語言編程而成，使用的開源庫包括delta-rs（Delta Lake協(xié)議的Rust原生實現(xiàn)），以及Apache Arrow DataFusion（一個非?？焖?、可擴展的查詢引擎）。在Cloudflare，由于其安全性和性能優(yōu)勢，Rust已成為新產(chǎn)品開發(fā)的熱門選擇。
下一步
我們知道，應(yīng)用程序安全日志只能了解部分您環(huán)境中發(fā)生的情況。未來的發(fā)展將更加令人振奮，包括Analytics和Log Explorer之間更緊密、更無縫的集成，增加包括Zero Trust日志在內(nèi)的更多數(shù)據(jù)集，定義自定義保留期的功能，以及集成的自定義警報。
Cloudflare
專欄
閩公網(wǎng)安備 35010202001226號
