Cloudflare的bot管理是怎么防爬的？

Cloudflare的Bot Management是一個專用于識別自動化流量的服務，針對的是憑證填充、庫存囤積、非法爬取、污染數(shù)據(jù)和破壞支付頁等等非法爬蟲帶來的問題。許多WAF服務也包含了以上這些場景，Bot Management的實際緩解措施也是借助防火墻來完成的。cf的不同之處在于，他們對整個Cloudflare網(wǎng)絡上的流量取樣進行機器學習，進行行為分析，然后對請求進行打分，這一分數(shù)可以給到站長比較直觀的流量視圖，例如某組評分較低的請求來自于同一IP，一個IP短時間內(nèi)發(fā)起了多次請求，且經(jīng)確認并非搜索引擎的合法爬蟲，因此站長可以結合這些數(shù)據(jù)來對這類請求發(fā)起挑戰(zhàn)或者干脆阻止。Bot Management還包含了流量分析等等服務，cf的企業(yè)賬戶都集成了WAF，防DDoS和CDN等，基本上可以形成一個完整的SASE安全方案。

從形式上來看確實是跟WAF不太一樣的。bot管理是cf那邊會給請求評分，評分代表著請求屬于人為或自動化流量的可能性。根據(jù)這個評分，可以在cf后臺手動設置對哪些分數(shù)區(qū)間的請求發(fā)起驗證碼。而一般的WAF都是預先寫好規(guī)則，服務商根據(jù)規(guī)則來允許或者攔截流量。根據(jù)cloudflare的說法，這一評分是對整個cloudflare網(wǎng)絡上的流量樣本進行機器學習得出來的，誤報率很低。但實際上有一個分數(shù)區(qū)間是屬于“可能是bot”的，需要結合其他的一些手段來進行判斷。例如有些請求的分數(shù)比較偏向bot，并且一個ip有大量重復訪問的行為，就可以對這一部分請求發(fā)起驗證碼挑戰(zhàn)。