網(wǎng)站內(nèi)容是如何被Google搜索引擎提取的

我們?cè)谧鯣oogle等搜索引擎推廣時(shí)一定要讓Google抓取你的網(wǎng)頁(yè)內(nèi)容，這樣才能有被搜索到的可能，那么搜索引擎是如何抓取網(wǎng)頁(yè)內(nèi)容的呢？

Google等搜索引擎旨在為互聯(lián)網(wǎng)用戶尋找答案。它們組織互聯(lián)網(wǎng)，使你能立即發(fā)現(xiàn)你想要搜索相關(guān)的結(jié)果。為了讓你的網(wǎng)站出現(xiàn)在搜索結(jié)果中，你必須讓你的網(wǎng)頁(yè)在搜索引擎中獲得排名。這就是為什么搜索引擎優(yōu)化（SEO）是如此重要。如果你想在搜索引擎結(jié)果頁(yè)面（SERPs）中出現(xiàn)，你需要一流的SEO技術(shù)。

一、蜘蛛爬蟲(chóng)

想要網(wǎng)頁(yè)能在Google搜索引擎被用戶搜索到首先要讓網(wǎng)頁(yè)被搜索引擎收錄，搜索引擎用來(lái)爬行和抓取網(wǎng)頁(yè)內(nèi)容的程序叫做蜘蛛爬蟲(chóng)，簡(jiǎn)稱為蜘蛛。搜索引擎為了提高質(zhì)量和速度，它會(huì)放很多蜘蛛一起去爬行和抓取網(wǎng)頁(yè)內(nèi)容。

蜘蛛訪問(wèn)任何一個(gè)網(wǎng)站時(shí)，都會(huì)先去訪問(wèn)網(wǎng)站根目錄下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目錄，蜘蛛將遵守協(xié)議，不抓取被禁止的網(wǎng)址。

二、跟蹤鏈接

為了抓取網(wǎng)上盡量多的頁(yè)面，搜索引擎蜘蛛會(huì)跟蹤頁(yè)面上的鏈接，從一個(gè)頁(yè)面爬到下一個(gè)頁(yè)面，就好像蜘蛛在蜘蛛網(wǎng)上爬行一樣。整個(gè)互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁(yè)面組成的。當(dāng)然，由于網(wǎng)站及頁(yè)面鏈接結(jié)構(gòu)異常復(fù)雜，蜘蛛需要采取一定的爬行策略才能遍歷網(wǎng)上所有頁(yè)面。最簡(jiǎn)單的爬行的策略有：深度優(yōu)先和廣度優(yōu)先。

1、深度鏈接深度優(yōu)先指當(dāng)蜘蛛發(fā)現(xiàn)一個(gè)鏈接時(shí)，它就會(huì)順著這個(gè)鏈接指出的路一直向前爬行，直到前面再也沒(méi)其他鏈接，這時(shí)就會(huì)返回第一個(gè)頁(yè)面，然后會(huì)繼續(xù)鏈接再一直往前爬行。

2、廣度鏈接從seo角度講鏈接廣度優(yōu)先的意思是講的蜘蛛在一個(gè)頁(yè)面發(fā)現(xiàn)多個(gè)鏈接的時(shí)候，不是跟著一個(gè)鏈接一直向前，而是把頁(yè)面上所有第一層鏈接都爬一遍，然后再沿著第二層頁(yè)面上發(fā)現(xiàn)的鏈接爬向第三層頁(yè)面。

從理論上說(shuō)，無(wú)論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的時(shí)間，都能爬完整個(gè)互聯(lián)網(wǎng)。在實(shí)際工作中，沒(méi)有什么東西是無(wú)限的，蜘蛛的帶寬資源和蜘蛛的時(shí)間也是一樣都是有限的，也不可能爬完所有頁(yè)面。實(shí)際上最大的搜索引擎也只是爬行和收錄了互聯(lián)網(wǎng)的一小部分。

3.吸引蜘蛛蜘蛛程序不可能抓取所有的網(wǎng)頁(yè)頁(yè)面的，它只會(huì)抓取重要的網(wǎng)頁(yè)內(nèi)容，以下幾點(diǎn)就是比較重要的內(nèi)容：

（1）網(wǎng)站和頁(yè)面權(quán)重：

頁(yè)面是指網(wǎng)站的所有頁(yè)面,主頁(yè)尤為重要,不僅美觀,而且質(zhì)量高。無(wú)論哪個(gè)頁(yè)面都有權(quán)重,但搜索引擎都會(huì)區(qū)分頁(yè)面的權(quán)重給頁(yè)面排名site在網(wǎng)站上,有的域名是首頁(yè)第一,有的是內(nèi)頁(yè)第一,這就是我們所說(shuō)的頁(yè)面權(quán)重。

（2）頁(yè)面更新度：

定期更新的網(wǎng)站比很久沒(méi)有打理的網(wǎng)站流量要高地多！

（3）網(wǎng)站外鏈：

外鏈就是指在別的網(wǎng)站導(dǎo)入自己網(wǎng)站的鏈接。導(dǎo)入鏈接對(duì)于網(wǎng)站優(yōu)化來(lái)說(shuō)是非常重要的一個(gè)過(guò)程。導(dǎo)入鏈接的質(zhì)量（即導(dǎo)入鏈接所在頁(yè)面的權(quán)重）間接影響了我們的網(wǎng)站在搜索引擎中的權(quán)重。

4.地址庫(kù)搜索引擎會(huì)建立一個(gè)地址庫(kù)，這么做可以很好地避免出現(xiàn)過(guò)多抓取或者反復(fù)抓取的現(xiàn)象，記錄已經(jīng)被發(fā)現(xiàn)還沒(méi)有抓取的頁(yè)面，以及已經(jīng)被抓取的頁(yè)面。

地址庫(kù)中的URL有以下幾個(gè)來(lái)源：

（1）人工錄入的種子網(wǎng)站。

（2）蜘蛛抓取頁(yè)面后，從HTML中解析出新的鏈接URL，與地址庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比，如果是地址庫(kù)中沒(méi)有的網(wǎng)址，就存入待訪問(wèn)地址庫(kù)。

（3）搜索引擎自帶的一種表格提供站長(zhǎng)，方便站長(zhǎng)提交網(wǎng)址。

由于網(wǎng)站的內(nèi)容經(jīng)常在變化，因此搜索引擎爬蟲(chóng)也需要不斷地更新其抓取網(wǎng)頁(yè)的內(nèi)容，這就需要搜索引擎爬蟲(chóng)按照一定的周期去掃描網(wǎng)站，查看哪些頁(yè)面是需要更新的頁(yè)面，哪些頁(yè)面是新增頁(yè)面，哪些頁(yè)面是已經(jīng)過(guò)期的死鏈接。

搜索引擎的更新周期對(duì)搜索引擎搜索的查全率有很大影響。如果更新周期太長(zhǎng)，則總會(huì)有一部分新生成的網(wǎng)頁(yè)搜索不到；周期過(guò)短，技術(shù)實(shí)現(xiàn)會(huì)有一定難度，而且會(huì)對(duì)帶寬、服務(wù)器的資源都有浪費(fèi)。搜索引擎爬蟲(chóng)并不是所有的網(wǎng)站都采用同一個(gè)周期進(jìn)行更新，對(duì)于一些重要的更新量大的網(wǎng)站，更新的周期短，如有些新聞網(wǎng)站，幾個(gè)小時(shí)就更新一次；相反，對(duì)于一些不重要的網(wǎng)站，更新的周期就長(zhǎng)，可能一兩個(gè)月才更新一次。

一般來(lái)說(shuō)，搜索引擎爬蟲(chóng)在更新網(wǎng)站內(nèi)容的時(shí)候，不用把網(wǎng)站網(wǎng)頁(yè)重新抓取一遍，對(duì)于大部分網(wǎng)頁(yè)，只需判斷網(wǎng)頁(yè)的屬性（主要是日期），把得到的屬性和上次抓取的屬性相比較，如果一樣則不用更新。