Akamai：有效防范撞庫攻擊，企業(yè)都需要做些什么？

對于可能遭遇撞庫攻擊的組織來說，有效緩解這些隱患不僅需要具備妥善的爬蟲管理解決方案，網(wǎng)站本身的架構(gòu)和設(shè)計也在其中扮演了重要角色。

為什么這么說？我們都知道，在撞庫攻擊中，攻擊者會借助僵尸網(wǎng)絡(luò)，使用盜取或者購買的憑據(jù)在你的應(yīng)用程序或網(wǎng)站上嘗試著進行登錄。

為了應(yīng)對這種攻擊，我們必須能準(zhǔn)確區(qū)分自動化爬蟲登錄以及普通用戶的正常登錄操作，因此目前的大部分爬蟲檢測技術(shù)會使用JavaScript注入的方式保護網(wǎng)頁和移動應(yīng)用所使用的API。然而網(wǎng)站的實際架構(gòu)，以及訪問網(wǎng)站的客戶端具體類型，可能會使攻擊面產(chǎn)生變化，從而對防范此類攻擊帶來較大的難度。

本文我們一起看看在實現(xiàn)有效的爬蟲管理策略過程中，我們都需要注意哪些方面的問題。

爬蟲檢測技術(shù)的工作原理

首先需要明確爬蟲檢測解決方案到底是如何準(zhǔn)確檢測出爬蟲的。這需要判斷某個請求的發(fā)起者到底是人類還是計算機程序。

一般來說，簡單的爬蟲檢測技術(shù)會檢查請求本身的內(nèi)容，例如查看數(shù)據(jù)包的包頭，但這種方式已經(jīng)無法檢測出能夠偽造包頭的復(fù)雜爬蟲。因此，更高級的爬蟲檢測技術(shù)往往會結(jié)合使用JavaScript challenge、瀏覽器指紋、異常行為分析等多種技術(shù)。

了解你的網(wǎng)站架構(gòu)

現(xiàn)代化網(wǎng)站很復(fù)雜，往往包含數(shù)百甚至上千個頁面，支持不同類型的客戶端和流量。此外，網(wǎng)站上不同內(nèi)容的負責(zé)人通常分屬于不同的業(yè)務(wù)或職能部門。因此，必須了解網(wǎng)站的整體架構(gòu)以及客戶端如何從不同頁面流向登錄端點，這樣才能更好地緩解撞庫攻擊，并真正了解自己所面臨的風(fēng)險級別。

當(dāng)然，在規(guī)劃任何爬蟲管理解決方案時的第一步，始終需要對需要保護的所有內(nèi)容創(chuàng)建清單，這樣才能有的放矢，構(gòu)建出完善的解決方案。

為不同類型的客戶端提供保護

取決于具體需求，網(wǎng)站可能需要與不同類型的客戶端進行交互。例如，用戶會使用臺式機、筆記本、手機、平板上的瀏覽器，或原生的移動客戶端進行交互；自動化的第三方服務(wù)（例如財務(wù)信息聚合、經(jīng)銷商合作伙伴、預(yù)定和分銷合作伙伴）可能需要通過各種API與網(wǎng)站進行交互。妥善設(shè)計的爬蟲管理解決方案必須能為恰當(dāng)?shù)目蛻舳颂峁┣‘?dāng)?shù)脑L問，絲毫不能多，也絲毫不能少。

另外還要注意，上文提到的瀏覽器指紋、異常行為分析等高級檢測技術(shù)，雖然可以有效區(qū)分真實人類用戶和爬蟲，但并不能有效區(qū)分善意和惡意爬蟲。所以在解決方案的選型方面也需要注意這方面問題。

權(quán)衡

撞庫攻擊是一種復(fù)雜問題，這不僅是因為爬蟲本身比較復(fù)雜，同時也是因為網(wǎng)站架構(gòu)可能會對保護措施造成一定的阻礙。

取決于組織本身以及網(wǎng)站的實際需求，100%完全有效的解決方案理論上雖然可行，但實際上也許并不現(xiàn)實，因此我們的緩解措施可能需要在安全風(fēng)險和影響、成本、時間等不同方面進行權(quán)衡。

了解端點的架構(gòu)、風(fēng)險和選項

如果組織沒有為每個類型的客戶端（Web瀏覽器、原生移動應(yīng)用、自動化的第三方服務(wù)）使用專用URL，那么就必須仔細審查自己的Web架構(gòu)。

首先需要了解當(dāng)前攻擊面、所面臨的風(fēng)險等級以及可用的各類選項。Akamai技術(shù)嫻熟的撞庫攻擊安全專家可以幫助用戶全面分析并制定撞庫緩解策略，幫助用戶了解自己的Web架構(gòu)以及爬蟲檢測解決方案對這些系統(tǒng)所造成的影響，例如：

·充分了解網(wǎng)站架構(gòu)和不同終端訪問登錄端點的工作流，確認隱藏的端點，不留任何遺漏

·全面掌握登錄端點的多方調(diào)用情況，根據(jù)使用者類型對所有URL進行分類。

·發(fā)現(xiàn)需要加以保護，防范撞庫攻擊的交易型URL，以及所有需要向這些URL發(fā)送請求的HTML表單入口點。

·識別并評估已知的技術(shù)“并發(fā)癥”。

·匹配目標(biāo)和策略結(jié)構(gòu)，以根據(jù)URL客戶端類型確定適當(dāng)?shù)谋Ｗo策略。

·圍繞撞庫攻擊的攻擊面制定應(yīng)對策略，并確定爬蟲檢測方案的下一個步驟。

而基于上述因素，Akamai Bot Manager通過先進的架構(gòu)以及全面的功能為用戶提供了一套完整的爬蟲治理流程，幫助用戶：

通過這一套流程，即可有效區(qū)分不同類型的爬蟲行為，并進行有針對性的處理，在保護用戶數(shù)據(jù)和隱私的同時確保業(yè)務(wù)流暢運轉(zhuǎn)。

為了規(guī)避檢測技術(shù)，爬蟲程序也在不斷發(fā)展進化，這導(dǎo)致組織面臨的風(fēng)險和成本正在呈爆炸式增長。組織需要通過創(chuàng)新的方法檢測并防御復(fù)雜的爬蟲以及隨之而來的撞庫攻擊。歡迎點擊閱讀原文，了解Akamai為此提供的Bot Manager爬蟲管理解決方案如何幫助組織控制網(wǎng)絡(luò)流量，在最大限度減少Web欺詐影響的同時維持競爭優(yōu)勢。