Cloudflare：什么是內(nèi)容抓取？

什么是內(nèi)容抓取？

內(nèi)容抓取或網(wǎng)絡(luò)抓取是指機(jī)器人在不考慮網(wǎng)站所有者意愿的情況下在網(wǎng)站上下載大量或全部?jī)?nèi)容。內(nèi)容抓取是數(shù)據(jù)抓取一種形式。它基本上總是由自動(dòng)機(jī)器人執(zhí)行。網(wǎng)站抓取機(jī)器人有時(shí)可以在幾秒鐘內(nèi)下載網(wǎng)站上的所有內(nèi)容。

內(nèi)容抓取機(jī)器人通常用于惡意目的將內(nèi)容重新利用，例如在攻擊者所擁有的網(wǎng)站上為SEO復(fù)制內(nèi)容、侵犯版權(quán)和竊取有機(jī)流量。內(nèi)容抓取可能涉及填寫和提交表格以訪問受限制控制的內(nèi)容，這種做法的副作用是導(dǎo)致公司數(shù)據(jù)庫(kù)中產(chǎn)生垃圾數(shù)據(jù)。此外，滿足來(lái)自機(jī)器人的HTTP請(qǐng)求會(huì)占用原本應(yīng)該服務(wù)于真實(shí)人類用戶的服務(wù)器資源。

機(jī)器人如何抓取內(nèi)容？

網(wǎng)站抓取機(jī)器人通常會(huì)發(fā)送一系列HTTP GET請(qǐng)求，然后復(fù)制并保存Web服務(wù)器回復(fù)的所有信息，并逐步遍歷網(wǎng)站的層次結(jié)構(gòu)，直到復(fù)制所有內(nèi)容。

例如，更復(fù)雜的抓取機(jī)器人可以使用JavaScript來(lái)填寫網(wǎng)站上的每個(gè)表格并下載任何受限內(nèi)容。 "瀏覽器自動(dòng)化"程序和API允許機(jī)器人與網(wǎng)站和API進(jìn)行自動(dòng)交互，就好像它們?cè)谑褂脗鹘y(tǒng)的網(wǎng)頁(yè)瀏覽器，試圖誘騙網(wǎng)站的服務(wù)器以為是真實(shí)人類用戶在訪問站點(diǎn)內(nèi)容。

當(dāng)然，一個(gè)人也可以手動(dòng)復(fù)制并粘貼整個(gè)網(wǎng)站，但是機(jī)器人可以在幾秒鐘內(nèi)抓取并下載網(wǎng)站上的所有內(nèi)容，即使是大型網(wǎng)站（例如具有成百上千個(gè)單獨(dú)產(chǎn)品的電子商務(wù)網(wǎng)站）頁(yè)面也不例外。

內(nèi)容抓取機(jī)器人的目標(biāo)是哪種內(nèi)容？

機(jī)器人可以抓取在互聯(lián)網(wǎng)上公開發(fā)布的所有內(nèi)容–文本、圖像、HTML代碼、CSS代碼等等。攻擊者可以將抓取的數(shù)據(jù)用于多種目的。文本可以用來(lái)復(fù)制到另一個(gè)網(wǎng)站上重復(fù)使用，以竊取原網(wǎng)站的搜索引擎排名或欺騙用戶。攻擊者可能使用原網(wǎng)站的HTML和CSS代碼來(lái)復(fù)制偽造一個(gè)看似合法的網(wǎng)站外觀或其他公司的品牌。網(wǎng)絡(luò)罪犯可以使用被盜的內(nèi)容創(chuàng)建網(wǎng)絡(luò)釣魚網(wǎng)站，這些網(wǎng)站看起來(lái)像另一個(gè)網(wǎng)站的真實(shí)版本，從而誘騙用戶輸入個(gè)人數(shù)據(jù)。

還有哪些其他類型的網(wǎng)頁(yè)抓?。?/span>

聯(lián)絡(luò)信息抓取

這是指掃描網(wǎng)站以獲取聯(lián)系信息，例如電話號(hào)碼和電子郵件地址，然后下載該信息。電子郵件收集機(jī)器人是一種專門針對(duì)電子郵件地址的抓取機(jī)器人，通常用于查找垃圾信息的新推送目標(biāo)。

價(jià)格抓取

這是指一家公司從競(jìng)爭(zhēng)對(duì)手公司的網(wǎng)站下載所有定價(jià)信息，以便他們可以相應(yīng)地調(diào)整自己的定價(jià)。

公司如何防止網(wǎng)頁(yè)抓?。?/span>

機(jī)器人管理解決方案可以借助機(jī)器學(xué)習(xí)來(lái)識(shí)別機(jī)器人行為模式并防止機(jī)器人抓取活動(dòng)。速率限制通常還可以幫助防止內(nèi)容被抓?。赫嬲挠脩舨惶赡茉趲酌腌娀驇追昼妰?nèi)請(qǐng)求幾百個(gè)頁(yè)面的內(nèi)容，而任何以這么高的速度迅速提出請(qǐng)求的"用戶"都可能是機(jī)器人。CAPTCHA測(cè)試也可以幫助從機(jī)器人中篩選出真正的用戶。

Cloudflare 機(jī)器人管理旨在阻止內(nèi)容抓取攻擊，以及防護(hù)其他種類的惡意流量機(jī)器人。與限速或CAPTCHA解決方案不同，基于機(jī)器學(xué)習(xí)的Cloudflare機(jī)器人管理可以根據(jù)行為模式識(shí)別機(jī)器人，從而為用戶減少摩擦，減少誤報(bào)（被誤認(rèn)為是機(jī)器人的用戶）。