華為云Web應(yīng)用防火墻：通過配置反爬蟲防護(hù)策略阻止爬蟲攻擊

網(wǎng)絡(luò)爬蟲為網(wǎng)絡(luò)信息收集與查詢提供了極大的便利，但同時也對網(wǎng)絡(luò)安全產(chǎn)生以下負(fù)面影響：

·網(wǎng)絡(luò)爬蟲會根據(jù)特定策略盡可能多的“爬過”網(wǎng)站中的高價值信息，占用服務(wù)器帶寬，增加服務(wù)器的負(fù)載

·惡意用戶利用網(wǎng)絡(luò)爬蟲對Web服務(wù)發(fā)動DoS攻擊，可能使Web服務(wù)資源耗盡而不能提供正常服務(wù)

·惡意用戶利用網(wǎng)絡(luò)爬蟲抓取各種敏感信息，造成網(wǎng)站的核心數(shù)據(jù)被竊取，損害企業(yè)經(jīng)濟(jì)利益

Web應(yīng)用防火墻可以通過Robot檢測（識別User-Agent）、網(wǎng)站反爬蟲（檢查瀏覽器合法性）和CC攻擊防護(hù)（限制訪問頻率）三個反爬蟲策略，全方位幫您解決業(yè)務(wù)網(wǎng)站遭受的爬蟲問題。

前提條件

域名已成功接入WAF。

開啟Robot檢測（識別User-Agent）

開啟Robot檢測后，WAF可以檢測和攔截惡意爬蟲、掃描器、網(wǎng)馬等威脅。

1.登錄管理控制臺。

2.進(jìn)入網(wǎng)站設(shè)置頁面入口，如圖1所示。

圖1網(wǎng)站設(shè)置入口

3.在您需要防護(hù)的域名（網(wǎng)站）所在行的“防護(hù)策略”欄中，單擊“配置防護(hù)策略”，進(jìn)入“防護(hù)配置”頁面，確認(rèn)“Web基礎(chǔ)防護(hù)”的“狀態(tài)”為，如圖2所示。

圖2 Web基礎(chǔ)防護(hù)配置框

4.單擊“高級設(shè)置”，確認(rèn)Robot檢測開關(guān)為打開狀態(tài)，如圖3所示。

圖3打開Robot檢測開關(guān)

當(dāng)WAF檢測到惡意爬蟲、掃描器等對網(wǎng)站進(jìn)行爬取時，將立即攔截并記錄該事件，您可以在“防護(hù)事件”頁面查看爬蟲防護(hù)日志。

開啟網(wǎng)站反爬蟲（檢查瀏覽器合法性）

開啟網(wǎng)站反爬蟲，WAF可以動態(tài)分析網(wǎng)站業(yè)務(wù)模型，結(jié)合人機識別技術(shù)和數(shù)據(jù)風(fēng)控手段，精準(zhǔn)識別爬蟲行為。

1.登錄管理控制臺。

2.進(jìn)入網(wǎng)站設(shè)置頁面入口，如圖4所示。

圖4網(wǎng)站設(shè)置入口

3.在您需要防護(hù)的域名（網(wǎng)站）所在行的“防護(hù)策略”欄中，單擊“配置防護(hù)策略”，進(jìn)入“防護(hù)配置”頁面，在“網(wǎng)站反爬蟲”配置框，單擊開啟網(wǎng)站反爬蟲，如圖5所示。

圖5開啟網(wǎng)站反爬蟲

開啟該防護(hù)后，非瀏覽器的訪問將不能獲取業(yè)務(wù)頁面。

配置CC攻擊防護(hù)（限制訪問頻率）

開啟CC攻擊防護(hù)，限制單個IP/Cookie/Referer訪問者對您的網(wǎng)站上特定路徑（URL）的訪問頻率，緩解CC攻擊對業(yè)務(wù)的影響。

1.登錄管理控制臺。

2.進(jìn)入網(wǎng)站設(shè)置頁面入口，如圖6所示。

圖6網(wǎng)站設(shè)置入口

3.在您需要防護(hù)的域名（網(wǎng)站）所在行的“防護(hù)策略”欄中，單擊“配置防護(hù)策略”，進(jìn)入“防護(hù)配置”頁面，確認(rèn)“CC攻擊防護(hù)”的“狀態(tài)”為，如圖7所示。

圖7 CC防護(hù)規(guī)則配置框

4.在“CC防護(hù)”規(guī)則配置頁面左上角，單擊“添加規(guī)則”。以IP限速和人機驗證為例，添加IP限速規(guī)則，如圖8所示。

圖8配置IP限速模式

設(shè)置成功后，當(dāng)用戶訪問超過限制后需要輸入驗證碼才能繼續(xù)訪問。