谷歌SEO：什么是抓取預(yù)算（Crawl Budget）

抓取預(yù)算是搜索引擎想要在您的網(wǎng)站上抓取的速度和頁(yè)面數(shù)量。它受爬網(wǎng)程序要在您的網(wǎng)站上使用的資源數(shù)量以及服務(wù)器支持的爬網(wǎng)數(shù)量的影響。更多的抓取并不意味著你的排名會(huì)更好，但如果你的頁(yè)面沒有被抓取和索引，它們根本就不會(huì)排名。大多數(shù)網(wǎng)站不需要擔(dān)心抓取預(yù)算，但在少數(shù)情況下您可能需要查看一下。讓我們來(lái)看看其中的一些案例。

1.您何時(shí)應(yīng)該擔(dān)心搜尋預(yù)算？

您通常不必?fù)?dān)心熱門頁(yè)面上的抓取預(yù)算。通常是較新的頁(yè)面、沒有很好鏈接的頁(yè)面，或者不經(jīng)常抓取的頁(yè)面變化不大。對(duì)于較新的網(wǎng)站，尤其是那些頁(yè)面較多的網(wǎng)站，抓取預(yù)算可能是一個(gè)問題。您的服務(wù)器可能能夠支持更多的爬網(wǎng)，但是由于您的網(wǎng)站是新的，并且可能還不太流行，因此搜索引擎可能不想太多地對(duì)您的網(wǎng)站進(jìn)行爬網(wǎng)。

這主要是期望的脫節(jié)。您希望對(duì)您的網(wǎng)頁(yè)進(jìn)行抓取和編入索引，但Google不知道是否值得將您的網(wǎng)頁(yè)編入索引，并且可能不想抓取您希望的網(wǎng)頁(yè)數(shù)量。對(duì)于擁有數(shù)百萬(wàn)個(gè)頁(yè)面或經(jīng)常更新的網(wǎng)站的大型網(wǎng)站，抓取預(yù)算也可能是一個(gè)問題。通常，如果您有很多頁(yè)面沒有按需進(jìn)行爬網(wǎng)或更新，則可能需要考慮加快爬網(wǎng)速度。我們將在本文后面討論如何做到這一點(diǎn)。

2.如何查看爬蟲活動(dòng)

如果您想查看Google抓取活動(dòng)的概述以及他們發(fā)現(xiàn)的任何問題，最好的查看位置是Google Search Console中的抓取統(tǒng)計(jì)報(bào)告。如果您想查看來(lái)自所有機(jī)器人和用戶的點(diǎn)擊，您需要訪問您的日志文件。根據(jù)托管和設(shè)置，您可能可以訪問Awstats和Webalizer等工具，如此處在具有cPanel的共享主機(jī)上所見。這些工具會(huì)顯示日志文件中的一些匯總數(shù)據(jù)。

或更復(fù)雜的設(shè)置，您必須訪問和存儲(chǔ)原始日志文件中的數(shù)據(jù)，可能來(lái)自多個(gè)來(lái)源。對(duì)于大型項(xiàng)目，您可能還需要專門的工具，例如ELK（elasticsearch、logstash、kibana）堆棧，它允許存儲(chǔ)、處理和可視化日志文件。還有Splunk等日志分析工具。

3.什么會(huì)計(jì)入抓取預(yù)算？

所有URL和請(qǐng)求都計(jì)入您的抓取預(yù)算。這包括備用URL，如AMP或m-dot頁(yè)面、hreflang、CSS和JavaScript，包括XHR請(qǐng)求。這些URL可以通過抓取和解析頁(yè)面找到，也可以從各種其他來(lái)源（包括站點(diǎn)地圖、RSS提要、提交URL以在Google Search Console中編入索引）或使用索引API找到。還有多個(gè)Googlebot共享抓取預(yù)算。您可以在GSC的抓取統(tǒng)計(jì)報(bào)告中找到抓取您網(wǎng)站的各種Googlebot的列表。

A）Google調(diào)整抓取方式

每個(gè)網(wǎng)站都有不同的抓取預(yù)算，由幾個(gè)不同的輸入組成。

B）爬取需求

抓取需求就是Google想要在您的網(wǎng)站上抓取多少。更受歡迎的頁(yè)面和經(jīng)歷重大變化的頁(yè)面將被抓取更多。熱門頁(yè)面或指向它們的鏈接較多的頁(yè)面通常將比其他頁(yè)面具有優(yōu)先權(quán)。請(qǐng)記住，Google必須以某種方式優(yōu)先抓取您的網(wǎng)頁(yè)，而鏈接是一種確定您網(wǎng)站上哪些網(wǎng)頁(yè)更受歡迎的簡(jiǎn)單方法。不僅僅是你的網(wǎng)站，谷歌必須弄清楚如何優(yōu)先考慮互聯(lián)網(wǎng)上所有網(wǎng)站上的所有頁(yè)面。

您可以使用Site Explorer中的Best by links報(bào)告來(lái)指示哪些頁(yè)面可能被更頻繁地抓取。它還顯示Ahrefs上次抓取您的頁(yè)面的時(shí)間。還有一個(gè)過時(shí)的概念。如果谷歌發(fā)現(xiàn)頁(yè)面沒有變化，他們就會(huì)降低抓取頁(yè)面的頻率。例如，如果他們抓取一個(gè)頁(yè)面，一天后沒有看到任何變化，他們可能會(huì)等待三天再抓取，下一次十天，30天，100天等。他們?cè)趦纱巫ト≈g沒有實(shí)際設(shè)定的等待時(shí)間，但隨著時(shí)間的推移，它會(huì)變得越來(lái)越少。但是，如果Google看到整個(gè)網(wǎng)站發(fā)生了巨大變化或網(wǎng)站發(fā)生了重大變化，他們通常會(huì)提高抓取速度，至少是暫時(shí)的。

C）抓取速度限制

抓取速度限制是您的網(wǎng)站可以支持的抓取量。在出現(xiàn)服務(wù)器穩(wěn)定性問題（如速度減慢或錯(cuò)誤）之前，網(wǎng)站可以進(jìn)行一定量的抓取。如果大多數(shù)爬蟲開始看到這些問題，它們就會(huì)停止爬行，以免損害站點(diǎn)。Google會(huì)根據(jù)網(wǎng)站的抓取健康狀況進(jìn)行調(diào)整。如果該站點(diǎn)在爬行次數(shù)更多時(shí)正常，則限制將增加。如果網(wǎng)站有問題，那么谷歌會(huì)減慢他們的抓取速度。

4.如何讓Google抓取速度更快？

您可以采取一些措施來(lái)確保您的網(wǎng)站能夠支持額外的抓取并增加您網(wǎng)站的抓取需求。讓我們看看其中的一些選項(xiàng)。

A）加速您的服務(wù)器/增加資源

Google抓取頁(yè)面的方式基本上是下載資源，然后在它們的一端進(jìn)行處理。用戶感知的頁(yè)面速度并不完全相同。影響抓取預(yù)算的是谷歌連接和下載資源的速度，這更多地與服務(wù)器和資源有關(guān)。

B）更多鏈接，外部和內(nèi)部

請(qǐng)記住，抓取需求通?；诹餍卸然蜴溄?。您可以通過增加外部鏈接和/或內(nèi)部鏈接的數(shù)量來(lái)增加預(yù)算。由于您控制網(wǎng)站，因此內(nèi)部鏈接更容易。您可以在“網(wǎng)站審核”的“鏈接機(jī)會(huì)”報(bào)告中找到建議的內(nèi)部鏈接，該報(bào)告還包括一個(gè)說(shuō)明其工作原理的教程。

C）修復(fù)損壞和重定向的鏈接

保持站點(diǎn)上損壞或重定向頁(yè)面的鏈接處于活動(dòng)狀態(tài)將對(duì)抓取預(yù)算產(chǎn)生很小的影響。通常，此處鏈接的頁(yè)面的優(yōu)先級(jí)相當(dāng)?shù)?，因?yàn)樗鼈兛赡芤呀?jīng)有一段時(shí)間沒有更改了，但清理任何問題通常對(duì)網(wǎng)站維護(hù)有益，并且會(huì)稍微幫助您的抓取預(yù)算。

您可以在站點(diǎn)審核的內(nèi)部頁(yè)面報(bào)告中輕松找到站點(diǎn)上的損壞（4xx）和重定向（3xx）鏈接。對(duì)于站點(diǎn)地圖中損壞或重定向的鏈接，請(qǐng)檢查“站點(diǎn)地圖中的3XX重定向”和“站點(diǎn)地圖中的4XX頁(yè)面”問題的所有問題報(bào)告。

D）盡可能使用GET而不是POST

這個(gè)有點(diǎn)技術(shù)性，因?yàn)樗婕癏TTP請(qǐng)求方法。不要在GET請(qǐng)求有效的地方使用POST請(qǐng)求。它基本上是GET（拉）與POST（推）。POST請(qǐng)求不會(huì)被緩存，因此會(huì)影響抓取預(yù)算，但是GET請(qǐng)求可以被緩存。

E）使用索引API

如果您需要更快地抓取頁(yè)面，請(qǐng)檢查您是否有資格使用Google的索引API。目前，這僅適用于少數(shù)用例，例如職位發(fā)布或?qū)崟r(shí)視頻。Bing還提供了所有人均可使用的Indexing API。

5.什么改動(dòng)是無(wú)效的？

人們有時(shí)會(huì)嘗試一些對(duì)您的抓取預(yù)算實(shí)際上無(wú)濟(jì)于事的事情。

·網(wǎng)站的小改動(dòng)。對(duì)頁(yè)面進(jìn)行小的更改，例如更新日期、空格或標(biāo)點(diǎn)符號(hào)，以希望更頻繁地抓取頁(yè)面。Google非常擅長(zhǎng)確定更改是否重要，因此這些小的更改不太可能對(duì)抓取產(chǎn)生任何影響。

·robots.txt中的抓取延遲指令。該指令將減慢許多機(jī)器人的速度。但是Googlebot不使用它，因此不會(huì)產(chǎn)生影響。

·刪除第三方腳本。第三方腳本不計(jì)入您的抓取預(yù)算，因此刪除它們無(wú)濟(jì)于事。

·Nofollow。好吧，這個(gè)有問題。過去，nofollow鏈接不會(huì)使用抓取預(yù)算。但是，nofollow現(xiàn)在被視為提示，因此Google可能會(huì)選擇抓取這些鏈接。

6.如何讓Google抓取速度變慢？

有幾個(gè)好方法可以讓Google抓取速度變慢。從技術(shù)上講，您還可以進(jìn)行一些其他調(diào)整，例如降低網(wǎng)站速度，但我不推薦這些方法。

調(diào)整緩慢，但有保證

Google提供給我們的主要控制是讓我們爬得更慢，這是Google Search Console中的速率限制器。您可以使用該工具降低抓取速度，但最多可能需要兩天的時(shí)間才能生效。

快速調(diào)整，但有風(fēng)險(xiǎn)

如果您需要更直接的解決方案，則可以利用Google與網(wǎng)站運(yùn)行狀況相關(guān)的抓取速度調(diào)整。如果您在頁(yè)面上向Googlebot提供“503服務(wù)不可用”或“429請(qǐng)求過多”狀態(tài)代碼，它們的抓取速度將開始變慢或可能會(huì)暫時(shí)停止抓取。但是，您不希望這樣做超過幾天，否則他們可能會(huì)開始從索引中刪除頁(yè)面。

寫在最后

再次重申，抓取預(yù)算不是大多數(shù)人需要擔(dān)心的。如果您確實(shí)有疑慮，我希望本指南對(duì)您有所幫助。我通常只在頁(yè)面沒有被爬取和建立索引的問題時(shí)才進(jìn)行調(diào)查，我需要解釋為什么不應(yīng)該擔(dān)心它，或者在Google Search Console的爬網(wǎng)統(tǒng)計(jì)報(bào)告中碰巧看到與我有關(guān)的問題。