Reddit封鎖爬蟲，Google則花6000萬美元獨占Reddit搜索結(jié)果

Google現(xiàn)在是唯一可以從Reddit搜索出結(jié)果的搜索引擎，使網(wǎng)絡最有價值的用戶生成內(nèi)容倉庫之一成為網(wǎng)絡搜索巨頭的獨占品。

如果你使用Bing、DuckDuckGo、Mojeek、Qwant或任何其他不依賴Google索引的替代搜索引擎，并使用“site:reddit.com”去搜索Reddit，你將看不到過去一周的任何結(jié)果。DuckDuckGo目前在搜索Reddit時只會會出現(xiàn)7個連接，但不提供這些連接的去向或原因的任何數(shù)據(jù)，只是說“我們想要在此處為你顯示摘要，但網(wǎng)站不允許”。較舊的結(jié)果仍會顯示，但這些搜索引擎不再能夠“爬取”Reddit，這意味著Google將是唯一能夠顯示Reddit結(jié)果的搜索引擎。在獨立的付費搜索引擎Kagi上搜索Reddit仍然有效，Kagi從Google購買了部分搜索索引。

這個消息顯示了Google在搜索方面的近乎壟斷地位，以及如何積極阻礙其他公司競爭的能力，這個時間點，剛好是Google因為其搜索結(jié)果品質(zhì)下降而面臨越來越多的批評。其他搜索引擎被排除在外，也發(fā)生在Reddit限制對其網(wǎng)站的訪問以阻止公司爬取其內(nèi)容用于人工智能訓練之后，目前只有Google可以繼續(xù)爬取Reddit的數(shù)據(jù)，這是基于一項數(shù)百萬美元的協(xié)議，該協(xié)議賦予Google爬取Reddit數(shù)據(jù)以訓練其AI產(chǎn)品的權利。

“他們“Reddit”正在扼殺除Google以外的所有搜索引擎?！彼阉饕鍹ojeek的首席執(zhí)行官柯林·海赫斯特（Colin Hayhurst）在通話中告訴我。

海赫斯特在六月初Mojeek發(fā)現(xiàn)被禁止爬取該網(wǎng)站時嘗試通過電子郵件聯(lián)系Reddit，但表示尚未收到回復。

“這以前從來沒有發(fā)生過?！彼f?！耙驗檫@會發(fā)生在我們身上，我們被封鎖，通常是因為愚蠢或其他原因，當你聯(lián)系網(wǎng)站時，你一定可以解決這個問題，但我們從未遇到過沒有任何人回復的情況?！?/p>

“這與我們最近與Google的合作伙伴關系完全無關。由于我們最近與Google完成協(xié)議，說最近的Reddit結(jié)果沒有出現(xiàn)在非Google搜索引擎中并不準確?！盧eddit發(fā)言人提姆?拉史密特（Tim Rathschmidt）在電子郵件中說。他表示，Reddit會封鎖所有不愿意承諾不將爬取數(shù)據(jù)用于人工智能訓練的爬蟲，而且Reddit一直“與多個搜索引擎進行討論。我們無法與所有搜索引擎完成協(xié)議，因為一些搜索引擎無法或不愿意就其對Reddit內(nèi)容的使用（包括用于人工智能）做出可執(zhí)行的承諾?！?/p>

然而，Reddit并沒有解釋為什么沒有回復來自Mojeek的電子郵件，而Mojeek并不會爬取網(wǎng)絡數(shù)據(jù)用來訓練AI。

“我們愿意與各種規(guī)模大小的公司合作，而且現(xiàn)在也在這樣做。”拉史密特說。

越來越多的網(wǎng)站試圖通過更新robots.txt文件來阻止人工智能公司用來爬取其網(wǎng)站以進行訓練的機器人。Robots.txt是一個文本文件，它會指示機器人它們是否被允許訪問網(wǎng)站。例如，Googlebot是Google用于爬取網(wǎng)絡以獲取搜索結(jié)果的爬蟲或“蜘蛛”。具有robots.txt文件的網(wǎng)站可以例外地授給Googlebot訪問權限，而不授給其他機器人訪問權限，因此它們可以出現(xiàn)在可以產(chǎn)生大量流量的搜索結(jié)果中。最近，Google還推出了Google-Extended，這是一個專門爬取網(wǎng)絡以改善其Gemini應用程序的機器人，因此網(wǎng)站可以允許Googlebot爬取但封鎖Google用來驅(qū)動其生成式AI產(chǎn)品的爬蟲。

Robots.txt只是指令，爬蟲可以并且已經(jīng)忽視了這些指示，但據(jù)海赫斯特說，Reddit也在積極主動封鎖其爬蟲。

Reddit一直對人工智能公司爬取網(wǎng)站以訓練大型語言模型感到不滿，并采取了公開和積極的措施阻止它們繼續(xù)這樣做。去年，當Reddit開始收取訪問其API的費用時，它破壞了許多Reddit社交媒體喜愛的第三方應用程序，使許多這些第三方應用程序的運營成本過高。今年早些時候，Reddit宣布與Google簽署了一項價值6000萬美元的協(xié)議，允許Google可以得到授權用Reddit內(nèi)容來訓練其AI產(chǎn)品。

Reddit的robots.txt過去包含許多笑話，例如禁止來自未來世界的機器人Bender爬取它(User-Agent:bender,Disallow:/my_shiny_metal_ass)和搜索引擎可以和不可以訪問的特定頁面?！?r .rss/”被允許，而“/login”不被允許。

如今，Reddit的robots.txt更簡單、更嚴格。除了幾個指向Reddit新的“公共內(nèi)容政策”的連接之外，該文件還簡單地包含以下指令：

User-agent:

Disallow:/

這基本上意味著：任何用戶代理（機器人）都不得爬取網(wǎng)站的任何部分。

“Reddit信奉開放的網(wǎng)際網(wǎng)絡，但不贊成濫用公共內(nèi)容，”更新后的robots.txt文件說。

Reddit在6月表示：“不幸地，我們看到顯然商業(yè)化的實體越來越多地爬取Reddit內(nèi)容，并辯稱不受我們的條款或政策約束。更糟糕的是，他們躲在robots.txt背后，聲稱可以將Reddit內(nèi)容用于任何他們想要的用途。雖然我們將繼續(xù)盡我們所能找到并主動阻止這些不良行為者，但我們需要做更多的事情來保護Reddit用戶的貢獻。在接下來的幾周內(nèi)，我們將盡可能清楚地更新我們的robots.txt指令：如果你使用自動代理程序訪問Reddit，你需要遵守我們的條款和政策，并且需要與我們聯(lián)系。”

Reddit大約在6月25日左右更新了其robots.txt文件，當時Mojeek的海赫斯特注意到他們的網(wǎng)絡爬蟲被封鎖了。當時的公告稱：“像研究人員和網(wǎng)際網(wǎng)絡文件館等組織，將繼續(xù)可以訪問Reddit內(nèi)容用于非商業(yè)用途，”并且“我們對與誰合作以及信任誰能大規(guī)模訪問Reddit內(nèi)容持謹慎態(tài)度?！?。公告還連接到一個關于訪問Reddit數(shù)據(jù)的指南，該指南明確指出Reddit認為“搜索或網(wǎng)站廣告”屬于“商業(yè)用途”，并且任何人都不能未經(jīng)許可或支付費用而使用Reddit數(shù)據(jù)。

Google沒有回應媒體的評論，但其宣布與Reddit完成協(xié)議的聲明不僅指出Reddit對于訓練人工智能的價值，還還指出我們許多人已經(jīng)知道的事實：隨著Google搜索在找到相關搜索結(jié)果方面變得越來越糟糕，獲得相關結(jié)果的最佳方式之一就是在你的搜索查詢中添加“Reddit”，將Google引導到一個真實的人類已經(jīng)寫了近二十年建議和推薦的網(wǎng)站。。有很多方法可以說明Reddit的有用性，但不會做得比這段視頻更好：

Google現(xiàn)在是唯一能將用戶導向那些資訊的搜索引擎，而且這顯然是與Google花了6000萬美元購買AI訓練數(shù)據(jù)有關。這再次顯示了，為了驅(qū)動生成式AI工具而無差別地抓取整個網(wǎng)絡，可能產(chǎn)生意想不到的后果。

海赫斯特說：“我們一直以來都以尊重的方式爬取資訊，并且已經(jīng)這樣做了20年。我們在Cloudflare上經(jīng)過驗證，我們不訓練AI，就像真正的傳統(tǒng)搜索一樣，我們不做“答案引擎”之類的事情?！薄按鸢敢妗笔荘erplexity對其人工智能搜索引擎的稱呼?！癕ojeek的全部意義在于我們不進行任何關注。但人們也使用我們是因為我們提供了一套完全不同的結(jié)果。”

海赫斯特說，Reddit與Google的協(xié)議使提供這些替代搜索網(wǎng)絡的方式變得更加困難。

“這只是更大趨勢的一部分，不是嗎？”他說：“這讓我們非常擔心。網(wǎng)絡正在逐漸被消滅，被侵蝕。我不想以偏蓋全，但這對小公司來說沒有幫助?！?/p>