Reddit被曝屏蔽多個搜索引擎和AI爬蟲,官方稱與谷歌合作無關(guān)

來源:IT之家
作者:汪淼
時間:2024-07-26
2729
今年2月,谷歌宣布與Reddit達(dá)成一項新協(xié)議,Reddit數(shù)據(jù)將用于訓(xùn)練谷歌的AI模型,并在谷歌搜索結(jié)果中著重顯示Reddit結(jié)果。

7月25日消息,今年2月,谷歌宣布與Reddit達(dá)成一項新協(xié)議,Reddit數(shù)據(jù)將用于訓(xùn)練谷歌的AI模型,并在谷歌搜索結(jié)果中著重顯示Reddit結(jié)果。彭博社報道稱,這筆交易的金額約為6000萬美元。從那時起,Reddit在谷歌搜索中的展示次數(shù)也大幅增加。

而最新消息稱,Reddit已禁止其他搜索引擎檢索其網(wǎng)站內(nèi)容。外媒404 Media最先報道了此行為,并指出Reddit已更新其robots.txt文件(注:網(wǎng)站與爬蟲的協(xié)議文件),阻止所有機(jī)器人抓取網(wǎng)站的任何內(nèi)容。

IT之家查詢Reddit網(wǎng)站的robots.txt文件獲悉,該平臺稱“Reddit相信開放的互聯(lián)網(wǎng),但不相信濫用公共內(nèi)容?!逼洹癉isallow”選項設(shè)置為“/”,也就是禁止檢索網(wǎng)站根目錄下的所有文件。

b8555e6e-7f7e-44aa-b4b7-84da8c80aa0a.png該文件在今年6月首次更新,Reddit解釋說,這一更改是由于“抓取Reddit內(nèi)容的商業(yè)實體明顯增多并且內(nèi)容被濫用”。

外媒9To5Google則稱,Bing、DuckDuckGo、Mojeek和Qwant等搜索引擎都受到了影響,使用“site:reddit.com”搜索內(nèi)容時,要么不顯示最新內(nèi)容,要么不顯示完整的網(wǎng)站結(jié)果。

22d9ad0c-9147-457d-b0e0-fa8e6d27c945.png

不過IT之家最新測試,Bing、DuckDuckGo已重新顯示“site:reddit.com”搜索內(nèi)容。

338e4008-bdbc-4b6e-bfec-faea2815bd4f.jpgReddit發(fā)言人Tim Rathschmidt在給The Verge的一份聲明中表示:“這與我們最近與谷歌的合作完全無關(guān)。我們一直在與多個搜索引擎進(jìn)行討論,但無法與所有人達(dá)成協(xié)議,因為有些人無法或不愿意就他們使用Reddit內(nèi)容(包括他們對AI訓(xùn)練的使用)作出可執(zhí)行的承諾?!?/p>

立即登錄,閱讀全文
原文鏈接:點擊前往 >
文章來源:IT之家
版權(quán)說明:本文內(nèi)容來自于IT之家,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
優(yōu)質(zhì)服務(wù)商推薦
更多
個人VIP