Cloudflare的bot管理是怎么防爬的，跟其他的WAF有什么不同嗎？

從形式上來看確實(shí)是跟WAF不太一樣的。bot管理是cf那邊會(huì)給請(qǐng)求評(píng)分，評(píng)分代表著請(qǐng)求屬于人為或自動(dòng)化流量的可能性。

根據(jù)這個(gè)評(píng)分，可以在cf后臺(tái)手動(dòng)設(shè)置對(duì)哪些分?jǐn)?shù)區(qū)間的請(qǐng)求發(fā)起驗(yàn)證碼。

而一般的WAF都是預(yù)先寫好規(guī)則，服務(wù)商根據(jù)規(guī)則來允許或者攔截流量。

根據(jù)cloudflare的說法，這一評(píng)分是對(duì)整個(gè)cloudflare網(wǎng)絡(luò)上的流量樣本進(jìn)行機(jī)器學(xué)習(xí)得出來的，誤報(bào)率很低。但實(shí)際上有一個(gè)分?jǐn)?shù)區(qū)間是屬于“可能是bot”的，需要結(jié)合其他的一些手段來進(jìn)行判斷。例如有些請(qǐng)求的分?jǐn)?shù)比較偏向bot，并且一個(gè)ip有大量重復(fù)訪問的行為，就可以對(duì)這一部分請(qǐng)求發(fā)起驗(yàn)證碼挑戰(zhàn)。

而使用waf的話一般都可以根據(jù)已知的黑白名單，ip集等等來進(jìn)行防爬。

Cloudflare的Bot Management是一個(gè)專用于識(shí)別自動(dòng)化流量的服務(wù)，針對(duì)的是憑證填充、庫存囤積、非法爬取、污染數(shù)據(jù)和破壞支付頁等等非法爬蟲帶來的問題。許多WAF服務(wù)也包含了以上這些場(chǎng)景，Bot Management的實(shí)際緩解措施也是借助防火墻來完成的。

cf的不同之處在于，他們對(duì)整個(gè)Cloudflare網(wǎng)絡(luò)上的流量取樣進(jìn)行機(jī)器學(xué)習(xí)，進(jìn)行行為分析，然后對(duì)請(qǐng)求進(jìn)行打分，這一分?jǐn)?shù)可以給到站長比較直觀的流量視圖，例如某組評(píng)分較低的請(qǐng)求來自于同一IP，一個(gè)IP短時(shí)間內(nèi)發(fā)起了多次請(qǐng)求，且經(jīng)確認(rèn)并非搜索引擎的合法爬蟲，因此站長可以結(jié)合這些數(shù)據(jù)來對(duì)這類請(qǐng)求發(fā)起挑戰(zhàn)或者干脆阻止。

Bot Management還包含了流量分析等等服務(wù)，cf的企業(yè)賬戶都集成了WAF，防DDoS和CDN等，基本上可以形成一個(gè)完整的SASE安全方案。