電商案例 |“國(guó)民級(jí)”連鎖零售商如何與爬蟲(chóng)作斗爭(zhēng)

規(guī)模效應(yīng)能帶來(lái)各種好處，這不言而喻，但與之相對(duì)應(yīng)的價(jià)值和風(fēng)險(xiǎn)往往是共存的，任何系統(tǒng)的規(guī)模越大，價(jià)值越高，伴隨而來(lái)的安全風(fēng)險(xiǎn)也會(huì)越大。對(duì)于互聯(lián)網(wǎng)上的數(shù)字化資產(chǎn)，例如大型數(shù)字化平臺(tái)、用戶個(gè)人信息等，這種價(jià)值與風(fēng)險(xiǎn)共存的情況就更加突出。連鎖超市和零售商就是如此。

名副其實(shí)的“國(guó)民級(jí)”零售商

某海外知名連鎖超市和零售商，主要銷(xiāo)售新鮮食物、服裝和家居用品，擁有超過(guò)3350家實(shí)體店，每周為將近2900萬(wàn)客戶提供服務(wù)。在開(kāi)展電商業(yè)務(wù)后，經(jīng)過(guò)一段時(shí)間的發(fā)展，他們的已注冊(cè)在線會(huì)員數(shù)業(yè)已達(dá)到了1230萬(wàn)人，電商網(wǎng)站日點(diǎn)擊量高達(dá)8億次。

蓬勃發(fā)展的業(yè)務(wù)固然讓人欣喜，可隨之而來(lái)的煩心事兒也著實(shí)讓人頭疼。

網(wǎng)絡(luò)爬蟲(chóng)防不勝防

自疫情爆發(fā)以來(lái)，大量用戶開(kāi)始轉(zhuǎn)為通過(guò)電商服務(wù)購(gòu)買(mǎi)日常所需，該零售商的電商業(yè)務(wù)迎來(lái)了一輪大幅增長(zhǎng)，無(wú)論注冊(cè)用戶數(shù)量和網(wǎng)站點(diǎn)擊量都有了顯著增加。據(jù)統(tǒng)計(jì)，他們的網(wǎng)絡(luò)流量在疫情以來(lái)已經(jīng)增長(zhǎng)了200%以上。

面對(duì)突增的流量，該零售商并未大意，開(kāi)始考慮這些流量是否都是真實(shí)客戶帶來(lái)的。他們懷疑部分流量可能來(lái)自各類(lèi)懷有一些惡意目的的計(jì)算機(jī)程序。這種名叫"爬蟲(chóng)"(Bot)的計(jì)算機(jī)程序會(huì)自動(dòng)訪問(wèn)網(wǎng)站頁(yè)面，并執(zhí)行一些惡意操作。然而由于缺乏合適的工具，他們無(wú)法通過(guò)技術(shù)手段驗(yàn)證自己的猜測(cè)。

為圖省事，很多人習(xí)慣于在注冊(cè)各種網(wǎng)站時(shí)使用相同的用戶名和密碼，而一旦其中一個(gè)網(wǎng)站的這些信息被泄漏，用戶在其他所有網(wǎng)站注冊(cè)的賬戶都會(huì)受到威脅。攻擊者使用爬蟲(chóng)程序在不同網(wǎng)站上，通過(guò)這些泄漏的賬戶憑據(jù)一個(gè)個(gè)嘗試登錄的做法就叫撞庫(kù)。一旦找到可用賬戶，隨后就會(huì)消費(fèi)或轉(zhuǎn)移賬戶中的余額、積分等有價(jià)值資產(chǎn)，甚至直接使用賬戶捆綁的支付方式進(jìn)行“盜刷”。

懷疑存在此類(lèi)威脅，但缺乏驗(yàn)證與核實(shí)的技術(shù)手段，自然也就對(duì)各類(lèi)流量的具體情況缺乏進(jìn)一步了解，進(jìn)而難以有針對(duì)性地采取預(yù)防措施。

不僅如此，這種懷疑存在的惡意爬蟲(chóng)還對(duì)公司的合規(guī)運(yùn)營(yíng)造成了挑戰(zhàn)。根據(jù)相關(guān)法律法規(guī)的要求，企業(yè)必須對(duì)客戶數(shù)據(jù)加以充分保護(hù)。一旦不慎導(dǎo)致客戶信息外泄，將要承擔(dān)極為嚴(yán)重的后果和高額罰款。

除了安全與合規(guī)方面的問(wèn)題，一些爬蟲(chóng)還會(huì)對(duì)該零售商的業(yè)務(wù)運(yùn)營(yíng)造成麻煩。管理者還懷疑自己的網(wǎng)站遭遇了競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)爬取，以及被對(duì)方自動(dòng)爬取了產(chǎn)品價(jià)格、庫(kù)存數(shù)量等信息。因?yàn)樗麄儠r(shí)常會(huì)發(fā)現(xiàn)有固定的幾個(gè)IP地址會(huì)定期訪問(wèn)自己的網(wǎng)站，并且都會(huì)造成非常大的流量，這看起來(lái)完全不像是普通顧客的行為。但是因?yàn)槿狈ψC據(jù)，目前他們也僅僅只是懷疑。

也許很多人還不太了解，但實(shí)際上，這種Bot爬蟲(chóng)已成為現(xiàn)代互聯(lián)網(wǎng)Web應(yīng)用面臨的一個(gè)最大公敵。根據(jù)Akamai的統(tǒng)計(jì)，2021 Q2遇到的賬戶濫用攻擊達(dá)到了700億次，Q/Q增長(zhǎng)15%。而這種攻擊是WAF無(wú)法緩解的。更讓人擔(dān)心的是，Akamai已經(jīng)多次探測(cè)到日峰值超過(guò)10億次的惡意登錄行為。

除了數(shù)量與日俱增，爬蟲(chóng)攻擊的形式也越來(lái)越豐富，撞庫(kù)攻擊、銀行卡攻擊、庫(kù)存囤積、薅羊毛、禮品卡攻擊，這都是常見(jiàn)的攻擊形式與目標(biāo)，而且爬蟲(chóng)攻擊正變得越來(lái)越智能化、分布式，能模擬人類(lèi)的行為特征，繞過(guò)通用的Web安全設(shè)備和檢測(cè)機(jī)制（如“驗(yàn)證碼”）。

Bot Manager，固若金湯

面對(duì)爬蟲(chóng)造成的各類(lèi)風(fēng)險(xiǎn)，該零售商主要有三個(gè)訴求：

·希望能增強(qiáng)針對(duì)爬蟲(chóng)的可見(jiàn)性，通過(guò)翔實(shí)的數(shù)據(jù)分析和結(jié)論更準(zhǔn)確地評(píng)估并緩解爬蟲(chóng)風(fēng)險(xiǎn)。

·希望盡可能避免競(jìng)爭(zhēng)對(duì)手的數(shù)據(jù)爬取行為。

·更好地保護(hù)客戶數(shù)據(jù)，滿足政府和行業(yè)相關(guān)法規(guī)法規(guī)的合規(guī)要求。

Akamai Bot Manager以靈活的服務(wù)模式和強(qiáng)大的功能滿足了該零售商的需求。

在可見(jiàn)性方面，Bot Manager有一個(gè)自動(dòng)管理的已知爬蟲(chóng)程序目錄，其中已經(jīng)涵蓋超過(guò)1500種已知爬蟲(chóng)程序，此外它還能使用AI模型檢測(cè)未知爬蟲(chóng)程序，進(jìn)行用戶行為分析、瀏覽器指紋識(shí)別等操作。借此，該零售商即可從中獲得實(shí)時(shí)整體趨勢(shì)、行業(yè)洞見(jiàn)以及有關(guān)爬蟲(chóng)程序流量的詳盡分析，進(jìn)而更有針對(duì)性地制定防御措施。

在防范惡意競(jìng)爭(zhēng)方面，Bot Manager具備出色的監(jiān)測(cè)能力。結(jié)合Akamai全球化平臺(tái)，Bot Manager每天能夠收集115億項(xiàng)爬蟲(chóng)程序請(qǐng)求和2.8億次爬蟲(chóng)程序登錄，并且可以從豐富的數(shù)據(jù)分析中得出精準(zhǔn)見(jiàn)解。在該零售商尚未開(kāi)始正式部署，僅僅是進(jìn)行概念驗(yàn)證的階段，Bot Manager就已經(jīng)幫助他們成功發(fā)現(xiàn)了一家全球知名電商網(wǎng)站對(duì)自己網(wǎng)站進(jìn)行數(shù)據(jù)爬取的證據(jù)，甚至在此基礎(chǔ)上分析出了攻擊的行為特征，包括源地址、攻擊時(shí)間、定向爬取價(jià)格的行為特征等。

在合規(guī)運(yùn)營(yíng)方面，由于能夠精準(zhǔn)獲得與惡意爬蟲(chóng)行為有關(guān)的見(jiàn)解，并針對(duì)不同行為和目的爬蟲(chóng)采取有針對(duì)性的應(yīng)對(duì)措施，該零售商預(yù)計(jì)自己將能在Bot Manager幫助下更好地預(yù)防撞庫(kù)、憑據(jù)濫用，并利用Akamai強(qiáng)大的機(jī)器學(xué)習(xí)算法和全球化規(guī)模與洞察改善安全與合規(guī)運(yùn)營(yíng)態(tài)勢(shì)。

根據(jù)Ponemon Institute統(tǒng)計(jì)，每年與撞庫(kù)有關(guān)的總成本（包括與欺詐相關(guān)的損失、運(yùn)營(yíng)安全性、應(yīng)用程序停機(jī)和客戶流失）可能達(dá)到600萬(wàn)至5400萬(wàn)美元之間。而Akamai自己的觀察和統(tǒng)計(jì)也發(fā)現(xiàn)，爬蟲(chóng)程序已經(jīng)占據(jù)網(wǎng)站總流量的30%-70%之多。

Akamai網(wǎng)絡(luò)每天會(huì)處理全球很大一部分的網(wǎng)絡(luò)流量，其中包括一些世界上最大和遭受攻擊最頻繁的網(wǎng)站。Akamai具有獨(dú)特的優(yōu)勢(shì)，能夠深入了解合法的應(yīng)用程序使用情況，以及惡意爬蟲(chóng)程序不斷演變的攻擊行為。它擁有最新的爬蟲(chóng)程序檢測(cè)技術(shù)，經(jīng)證明能夠識(shí)別當(dāng)今最復(fù)雜的爬蟲(chóng)程序。

不僅如此，Bot Manager還使用了多種專(zhuān)利技術(shù)，在爬蟲(chóng)程序剛開(kāi)始接觸網(wǎng)站時(shí)便及早檢測(cè)和抵御，避免其進(jìn)入網(wǎng)站。通過(guò)Akamai長(zhǎng)期不斷的檢測(cè)與完善，即便威脅不斷發(fā)展變化，用戶也能受到妥善保護(hù)。