AWS針對(duì)Perplexity AI進(jìn)行調(diào)查　曾被指無(wú)視標(biāo)記擅自抓取網(wǎng)站

Perplexity AI近來(lái)被卷入“無(wú)視協(xié)議擅自抓取網(wǎng)頁(yè)內(nèi)容”的風(fēng)波，就連AWS也針對(duì)Perplexity AI的數(shù)據(jù)收集方式進(jìn)行調(diào)查。

據(jù)報(bào)道指，AWS方面正在針對(duì)Perplexity AI是否使用網(wǎng)絡(luò)爬蟲程序，避開robot.txt“機(jī)器人排除協(xié)議”，來(lái)對(duì)本身不希望被網(wǎng)絡(luò)爬蟲抓取內(nèi)容的網(wǎng)站進(jìn)行數(shù)據(jù)收集。之前有媒體發(fā)現(xiàn)其網(wǎng)站多次被虛擬機(jī)（也就是網(wǎng)絡(luò)爬蟲程序）所訪問，忽略了網(wǎng)站上的robot.txt協(xié)議。據(jù)稱受影響的媒體包括Wired、The Guardian、Forbes和The New York Times等等。而這個(gè)虛擬機(jī)是托管在AWS之上，因此AWS也對(duì)事件作出反應(yīng)。

Perplexity AI方面否認(rèn)自己違反協(xié)議，發(fā)言人強(qiáng)調(diào)“我們的PerplexityBot遵守robots.txt，我們確認(rèn)Perplexity控制的服務(wù)沒有以任何違反AWS服務(wù)條款的方式進(jìn)行抓取?！辈贿^(guò)也指出他們有使用第三方爬蟲軟件，它們可能會(huì)有忽略協(xié)議的情況，而如果用戶在聊天機(jī)器人查詢中包含特定URL時(shí)，PerplexityBot也會(huì)忽略robots.txt。