Reddit被曝屏蔽多個(gè)搜索引擎和AI爬蟲，官方稱與谷歌合作無關(guān)

7月25日消息，今年2月，谷歌宣布與Reddit達(dá)成一項(xiàng)新協(xié)議，Reddit數(shù)據(jù)將用于訓(xùn)練谷歌的AI模型，并在谷歌搜索結(jié)果中著重顯示Reddit結(jié)果。彭博社報(bào)道稱，這筆交易的金額約為6000萬美元。從那時(shí)起，Reddit在谷歌搜索中的展示次數(shù)也大幅增加。

而最新消息稱，Reddit已禁止其他搜索引擎檢索其網(wǎng)站內(nèi)容。外媒404 Media最先報(bào)道了此行為，并指出Reddit已更新其robots.txt文件（注：網(wǎng)站與爬蟲的協(xié)議文件），阻止所有機(jī)器人抓取網(wǎng)站的任何內(nèi)容。

IT之家查詢Reddit網(wǎng)站的robots.txt文件獲悉，該平臺(tái)稱“Reddit相信開放的互聯(lián)網(wǎng)，但不相信濫用公共內(nèi)容?！逼洹癉isallow”選項(xiàng)設(shè)置為“/”，也就是禁止檢索網(wǎng)站根目錄下的所有文件。

該文件在今年6月首次更新，Reddit解釋說，這一更改是由于“抓取Reddit內(nèi)容的商業(yè)實(shí)體明顯增多并且內(nèi)容被濫用”。

外媒9To5Google則稱，Bing、DuckDuckGo、Mojeek和Qwant等搜索引擎都受到了影響，使用“site:reddit.com”搜索內(nèi)容時(shí)，要么不顯示最新內(nèi)容，要么不顯示完整的網(wǎng)站結(jié)果。

不過IT之家最新測(cè)試，Bing、DuckDuckGo已重新顯示“site:reddit.com”搜索內(nèi)容。

Reddit發(fā)言人Tim Rathschmidt在給The Verge的一份聲明中表示：“這與我們最近與谷歌的合作完全無關(guān)。我們一直在與多個(gè)搜索引擎進(jìn)行討論，但無法與所有人達(dá)成協(xié)議，因?yàn)橛行┤藷o法或不愿意就他們使用Reddit內(nèi)容（包括他們對(duì)AI訓(xùn)練的使用）作出可執(zhí)行的承諾。”