Shopify SEO基礎(chǔ)技術(shù)：抓取、索引和排名（下）

大家好，我是外貿(mào)老司機(jī)Allan。shopify入門(mén)小白或者對(duì)獨(dú)立站和跨境電商感興趣的朋友們，歡迎關(guān)注我，這里將持續(xù)分享更多運(yùn)營(yíng)干貨哦~

今天，我們將向你展示如何利用內(nèi)部鏈接、robots.txt 文件和 XML 站點(diǎn)地圖來(lái)幫助 Google 更快、更有效地抓取你的 Shopify 商店并為其編制索引。

Shopify 和 robots.txt：你需要知道的一切

簡(jiǎn)單地說(shuō)，robots.txt 是一個(gè)簡(jiǎn)單的文本文件，它告訴 Google 你網(wǎng)站的哪些頁(yè)面要抓取，哪些不要抓取。

一般來(lái)說(shuō)，SEO 不需要 robots.txt 文件。但是，擁有 robots.txt 有幾個(gè)不容忽視的好處：

它可以防止 Googlebot（和其他搜索引擎抓取工具）抓取和索引包含敏感信息的頁(yè)面（例如，登錄/注冊(cè)頁(yè)面、帳戶(hù)頁(yè)面等）。它可以防止 Googlebot 抓取和索引沒(méi)有 SEO 權(quán)重的頁(yè)面和資源（例如，“謝謝”頁(yè)面、預(yù)覽頁(yè)面、pdf 文件（例如，產(chǎn)品手冊(cè)）等）。它可以防止 Googlebot 抓取薄內(nèi)容頁(yè)面或包含重復(fù)內(nèi)容的頁(yè)面。它可以幫助搜索引擎更輕松地找到你的站點(diǎn)地圖（robots.txt 文件包含指向站點(diǎn)地圖的鏈接）。它可以幫助 Google 更快、更有效地抓取你的網(wǎng)站并將其編入索引。它可以?xún)?yōu)化你的抓取預(yù)算（通過(guò)確保 Google 不會(huì)抓取不應(yīng)抓取和編入索引的網(wǎng)頁(yè)）。

你需要了解的有關(guān) Shopify 和 robots.txt 的信息：

Final Straw的 robots.txt 文件

在我們進(jìn)一步討論之前，讓我們解釋一下每個(gè)指令（即 robots.txt 文件中的每一行）的含義：

“User-agent”指令指定指令適用于哪個(gè)爬蟲(chóng)。換句話(huà)說(shuō)，如果在“User-agent”指令（例如“User-agent：Googlebot”）中指定了用戶(hù)代理，則該用戶(hù)代理（例如“Googlebot”）應(yīng)遵循說(shuō)明，但不同的代理（例如，“Bingbot” - Bing 的爬蟲(chóng)）應(yīng)該繼續(xù)尋找更具體的指令。如果未指定用戶(hù)代理（如上述情況），則所有搜索引擎機(jī)器人（或爬蟲(chóng)程序）都應(yīng)遵循這些說(shuō)明?！霸试S”指令僅適用于 Googlebot。它告訴 Googlebot 它可以訪(fǎng)問(wèn)特定網(wǎng)頁(yè)或子文件夾，即使其父頁(yè)面或子文件夾可能被禁止。“禁止”指令告訴搜索引擎機(jī)器人不要抓取和索引哪些頁(yè)面。“站點(diǎn)地圖”指令將搜索引擎機(jī)器人指向你的 XML 站點(diǎn)地圖的位置。“Host”指令包含你主頁(yè)的 URL（即你的主域名）。

現(xiàn)在你對(duì) robots.txt 的工作原理有了更好的了解，以下是你需要了解的有關(guān) robots.txt 文件和 Shopify 的信息：

Shopify 會(huì)自動(dòng)生成你的 robots.txt 文件。你的 robots.txt 文件位于你網(wǎng)站主域名的根目錄中。要訪(fǎng)問(wèn)它，只需在主頁(yè)的 URL 中添加“/robots.txt”，例如“https://www.yourshopifystore.com/robots.txt”你的 robots.txt 文件由 Shopify 維護(hù)。這意味著你無(wú)法編輯其內(nèi)容。但是，如果你不希望 Google 訪(fǎng)問(wèn)你的 robots.txt 文件中未禁止的特定頁(yè)面，你可以使用“noindex”元標(biāo)記隱藏它們 - 一行代碼告訴搜索引擎不要索引特定的頁(yè)。實(shí)現(xiàn)“noindex”元標(biāo)記需要技術(shù)知識(shí)，因?yàn)槟阈枰远x theme.liquid 布局文件。

如果你不精通技術(shù)并且不熟悉 Shopify Liquid，最好聯(lián)系Shopify 專(zhuān)家并請(qǐng)求幫助。

此外，你可以使用像Smart SEO這樣的 Shopify SEO 應(yīng)用程序——Smart SEO只需單擊一下按鈕即可將“noindex”標(biāo)簽添加到頁(yè)面。

你可以通過(guò)注冊(cè)一個(gè)免費(fèi)的Google Search Console帳戶(hù)來(lái)監(jiān)控你的 robots.txt 文件阻止了哪些頁(yè)面。

如果你注意到你的結(jié)賬頁(yè)面已被你的 robots.txt 文件阻止，不必?fù)?dān)心 - 它不需要為 SEO 排名。此外，通過(guò)不抓取你的結(jié)帳頁(yè)面，搜索引擎機(jī)器人有更多時(shí)間抓取你網(wǎng)站上更重要的頁(yè)面（例如，你的主頁(yè)、類(lèi)別頁(yè)面、產(chǎn)品頁(yè)面、博客和文章頁(yè)面等）。

但是，如果你的 robots.txt 文件阻止了直接影響你的底線(xiàn)的頁(yè)面（即類(lèi)別頁(yè)面、產(chǎn)品頁(yè)面等），你應(yīng)該擔(dān)心。通常，發(fā)生這種情況的幾率幾乎為 0%（因?yàn)?Shopify 會(huì)自動(dòng)創(chuàng)建和管理你的 robots.txt 文件）。如果是這樣，請(qǐng)立即聯(lián)系 Shopify 支持團(tuán)隊(duì)。

Shopify 和 sitemap.xml：你需要知道的一切

你的 XML 站點(diǎn)地圖為 Googlebot（和其他搜索引擎機(jī)器人）提供有關(guān)你 Shopify 商店中的網(wǎng)頁(yè)和資源（例如媒體文件、pdf 等）的信息?；旧希悄憔W(wǎng)站上最重要的頁(yè)面和資源的綜合列表。你的站點(diǎn)地圖還包含有關(guān)你的網(wǎng)頁(yè)的重要信息（例如，它們上次修改的時(shí)間、包含的圖像數(shù)量、它們與其他頁(yè)面或資源的關(guān)系等）。

站點(diǎn)地圖的目的是幫助 Google 更快、更有效地抓取你的網(wǎng)站。

與 robots.txt 文件類(lèi)似，擁有站點(diǎn)地圖并不是絕對(duì)必要的 - Google 將能夠在沒(méi)有其幫助的情況下抓取你的網(wǎng)站（尤其是在你制定了強(qiáng)大的內(nèi)部鏈接策略的情況下）。但是，擁有站點(diǎn)地圖肯定會(huì)讓你受益。特別是在以下情況下：

如果你有一個(gè)大型目錄商店。想象一下，必須互連 1000 多個(gè)（甚至 100 個(gè)）產(chǎn)品頁(yè)面……不可能，對(duì)吧？如果你的 Shopify 商店是新的，并且它的反向鏈接和互連仍然很少。如果你的 Shopify 商店包含大量媒體文件，例如視頻和圖像。如果你上傳了大量 pdf 文件（例如，產(chǎn)品手冊(cè)或說(shuō)明）。如果你發(fā)了很多文章。此外，擁有站點(diǎn)地圖意味著 Googlebot（和其他搜索引擎抓取工具）會(huì)更頻繁地抓取你的網(wǎng)站。

你需要了解的有關(guān) Shopify 和 XML 站點(diǎn)地圖的信息：

Rebel Nell的站點(diǎn)地圖

以上就是 Shopify 商店的典型站點(diǎn)地圖的外觀(guān) - 有一個(gè)父站點(diǎn)地圖鏈接到產(chǎn)品、產(chǎn)品系列、博客和頁(yè)面的其他站點(diǎn)地圖（或子站點(diǎn)地圖）。這種分類(lèi)有助于 Google 更輕松地導(dǎo)航和抓取你的 Shopify 商店。

每個(gè)附加站點(diǎn)地圖都包含一個(gè)廣泛的頁(yè)面列表。例如，Rebel Nell 的產(chǎn)品站點(diǎn)地圖，包含所有 Rebel Nell 產(chǎn)品頁(yè)面的鏈接，以及圖像信息、頁(yè)面上次修改時(shí)間、頁(yè)面修改頻率等。

以下是你需要了解的有關(guān) sitemap.xml 文件和 Shopify 的信息：

Shopify 會(huì)自動(dòng)為你的商店生成一個(gè) sitemap.xml 文件。它包含指向你所有產(chǎn)品、產(chǎn)品圖片、頁(yè)面、集合和博客文章的鏈接。

如果你使用的是 Basic Shopify 計(jì)劃，那么只有你商店的主域具有生成的站點(diǎn)地圖文件并且可以被搜索引擎發(fā)現(xiàn)。如果你使用的是 Shopify、Advanced Shopify 或 Shopify Plus 計(jì)劃，那么你可以使用國(guó)際域功能來(lái)創(chuàng)建特定于區(qū)域或特定于國(guó)家的域。當(dāng)你使用國(guó)際域時(shí)，將為你的所有域生成站點(diǎn)地圖文件。你的所有域都可以被搜索引擎發(fā)現(xiàn)，除非它們重定向到你的主域。

來(lái)源：Shopify，查找并提交你的站點(diǎn)地圖 你的站點(diǎn)地圖位于你 Shopify 商店域的根目錄中，即你可以通過(guò)將“/sitemap.xml”添加到你主頁(yè)的 URL（例如，“https://www.yourshopifystore.com/sitemap.xml”）來(lái)找到它。注意：你還可以在 robots.txt 文件中找到站點(diǎn)地圖的位置 - 它是在“站點(diǎn)地圖”指令中指定的。Shopify 每次更新商店時(shí)都會(huì)自動(dòng)更新站點(diǎn)地圖（例如，每次添加新產(chǎn)品或發(fā)布新博客文章時(shí)）。你無(wú)法手動(dòng)編輯站點(diǎn)地圖。如果你希望從商店的站點(diǎn)地圖中排除某個(gè)頁(yè)面，你只能通過(guò) Shopify API（通過(guò)代碼）來(lái)完成。如果你不精通技術(shù)，有一些應(yīng)用程序可以為你提供幫助。比如smart SEO，只需單擊一下按鈕，你就可以排除不想出現(xiàn)在站點(diǎn)地圖中的頁(yè)面。該APP會(huì)向它們添加 noindex 標(biāo)簽，并將它們從你的站點(diǎn)搜索頁(yè)面中排除。

請(qǐng)注意每個(gè)產(chǎn)品旁邊的復(fù)選框 - 如果選中了復(fù)選框，則產(chǎn)品的狀態(tài)設(shè)置為“活動(dòng)”。這意味著該產(chǎn)品包含在站點(diǎn)地圖中。如果你想從站點(diǎn)地圖中排除產(chǎn)品，你需要做的就是從復(fù)選框中刪除復(fù)選標(biāo)記。

Smart SEO 的評(píng)分為4.9。它有一個(gè)免費(fèi)版本和一個(gè)專(zhuān)業(yè)計(jì)劃，每月收費(fèi) 4.99 美元（提供 7 天免費(fèi)試用）。

如何將你的站點(diǎn)地圖提交到 Google Search Console：為什么這很重要以及如何去做

你可以隨時(shí)將你的 sitemap.xml 文件提交到 Google Search Console。這不是絕對(duì)必要的 - 即使你不提交，Google 也能找到你的站點(diǎn)地圖。

那為什么我們還是需要去提交呢？因?yàn)閷⒛愕恼军c(diǎn)地圖提交到 Google Search Console 將有助于 Googlebot 更快地抓取你的網(wǎng)頁(yè)和資源并將其編入索引。此外，將你的站點(diǎn)地圖提交到 Google Search Console 將提高你的排名，提升你的內(nèi)部鏈接工作，并最終擴(kuò)大你的覆蓋范圍。也就是說(shuō)，提交你的站點(diǎn)地圖將為你帶來(lái)更多曝光率并帶來(lái)更多銷(xiāo)售機(jī)會(huì)。

如何將站點(diǎn)地圖提交到 Google Search Console：

確保你的網(wǎng)站不受密碼保護(hù) - 如果有密碼的話(huà)，Google 將無(wú)法訪(fǎng)問(wèn)你的站點(diǎn)地圖。創(chuàng)建一個(gè)免費(fèi)的Google Search Console帳戶(hù)。使用 Google Search Console 驗(yàn)證你的域并確認(rèn)你是 Shopify 商店的所有者。注意：如果你的網(wǎng)站受密碼保護(hù)，你將無(wú)法驗(yàn)證你的域名。將你的 sitemap.xml 文件提交到 Google Search Console。按照此處列出的步驟操作 → Shopify，查找并提交你的站點(diǎn)地圖

使用Smart SEO，你可以輕松地將站點(diǎn)地圖提交給 Google，而無(wú)需經(jīng)過(guò)使用 Search Console 的手動(dòng)過(guò)程。但是你仍然需要一個(gè)具有經(jīng)過(guò)驗(yàn)證的站點(diǎn)屬性的 Google Search Console 帳戶(hù)。

結(jié)論

今天，我們討論了搜索的工作原理。我們解釋了抓取、索引和排名之間的區(qū)別，以及shopify SEO技術(shù)與這些過(guò)程中的每一個(gè)的關(guān)系。

此外，我們還向你展示了如何通過(guò)以下方式幫助 Google 更快、更有效地抓取你的 Shopify 商店并將其編入索引：

創(chuàng)建強(qiáng)大的內(nèi)部鏈接策略擁有無(wú)可挑剔的 robots.txt 文件擁有無(wú)可挑剔的 sitemap.xml 文件并將其提交到 Google Search Console

如果你還有其他問(wèn)題，請(qǐng)?jiān)谙旅娼o我們留言！

在下一篇文章中，我們將重點(diǎn)介紹網(wǎng)站架構(gòu)。更具體地說(shuō)，我們將向你展示如何創(chuàng)建低深度頁(yè)面層次結(jié)構(gòu)、邏輯 URL 結(jié)構(gòu)和直觀(guān)的網(wǎng)站導(dǎo)航——這些是構(gòu)建技術(shù)優(yōu)化網(wǎng)站的關(guān)鍵步驟（而且，它有助于抓取和索引）。所以，請(qǐng)繼續(xù)關(guān)注！