Reddit CEO：微軟等公司必須付費才能抓取數(shù)據(jù)

8月1日消息，Reddit CEO史蒂夫?霍夫曼近日表示，如果微軟等公司希望繼續(xù)抓取該網(wǎng)站的數(shù)據(jù)，就必須付費。此前，Reddit已經(jīng)與谷歌和OpenAI達成協(xié)議。

霍夫曼指出，如果沒有這些協(xié)議，Reddit無法控制或了解其數(shù)據(jù)的使用方式，這迫使他們不得不屏蔽那些不愿意接受數(shù)據(jù)使用條件的公司。他特別點名了微軟、Anthropic和Perplexity三家公司，稱他們拒絕談判，并稱封鎖這些公司“非常麻煩”。

近幾個月來，Reddit一直在加大力度打擊爬蟲。7月初，Reddit更新了robots.txt文件，屏蔽了未經(jīng)授權的網(wǎng)絡爬蟲。隨后人們發(fā)現(xiàn)，Reddit的內(nèi)容只出現(xiàn)在谷歌搜索結果中，而Bing等其他搜索引擎上則看不到。

霍夫曼指責微軟未經(jīng)授權利用Reddit的數(shù)據(jù)訓練AI，并在Bing搜索結果中總結Reddit內(nèi)容，甚至通過Bing API將這些數(shù)據(jù)出售給其他搜索引擎。他還回應了微軟AI負責人穆斯塔法?蘇萊曼此前關于互聯(lián)網(wǎng)公共數(shù)據(jù)是“免費軟件”的言論，稱微軟等公司認為互聯(lián)網(wǎng)上的所有內(nèi)容都可以供他們免費使用，這是他們的真實立場。

IT之家注意到，針對Reddit搜索結果從Bing消失一事，微軟搜索主管喬迪?里巴斯在社交媒體上表示，Reddit屏蔽了Bing的爬蟲，偏袒另一家搜索引擎，影響了Bing和基于Bing的搜索引擎的競爭。微軟發(fā)言人凱特琳?勞爾頓也表示，公司尊重網(wǎng)站不希望其內(nèi)容被用于生成式AI模型的意愿。

霍夫曼以OpenAI的SearchGPT為例，強調(diào)了付費協(xié)議的重要性。今年早些時候，Reddit和OpenAI達成協(xié)議，允許SearchGPT顯示Reddit內(nèi)容。Reddit發(fā)言人蒂姆?拉特施密特表示，目前簽訂的所有內(nèi)容許可協(xié)議都不涉及數(shù)據(jù)獨占使用權。

Reddit要求付費的做法與傳統(tǒng)媒體出版商類似，他們也希望從允許內(nèi)容用于生成式AI中獲得收益?；舴蚵J為，搜索引擎的傳統(tǒng)價值交換已經(jīng)改變，搜索、摘要和訓練正在融合，單純依靠爬取內(nèi)容換取流量的模式變得模糊。