Reddit、Spotify紛紛收購內(nèi)容審查創(chuàng)業(yè)公司，用AI處理不當(dāng)言論還有哪些挑戰(zhàn)？

疫情假新聞、公然污辱、股海明燈等留言每天充斥社群平臺(tái)，都造成平臺(tái)用戶體驗(yàn)不佳，市場(chǎng)研究公司Ipsos英國調(diào)查指出，68%希望社群媒體采取更多行動(dòng)保護(hù)用戶安全，還有45%表示，如果社群平臺(tái)一直沒有推出保護(hù)措施，將減少或停用App。

各社群媒體相繼補(bǔ)足這塊市場(chǎng)漏洞，“美國PTT”社群論壇Reddit就在10月收購內(nèi)容審查創(chuàng)業(yè)公司Oterlu，期望利用AI協(xié)助審查貼文內(nèi)容；Spotify也在6月收購內(nèi)容審查創(chuàng)業(yè)公司Kinzen，致力打造更加健全的社群。

即便AI審查效率高、速度快，運(yùn)用機(jī)器學(xué)習(xí)分析主觀又有情緒的文本，還有哪些挑戰(zhàn)有待解決？

Reddit收購Oterlu審查社群內(nèi)容，Spotify、Twitter也祭出相關(guān)新制度

10月4日，Reddit宣布收購瑞典內(nèi)容審查創(chuàng)業(yè)公司Oterlu，將Oterlu團(tuán)隊(duì)成員并入Reddit安全團(tuán)隊(duì)，開發(fā)快速檢測(cè)各國有害內(nèi)容的AI模型。Reddit官網(wǎng)新聞稿說：“Oterlu使用自然語言處理技術(shù)、AI模型和機(jī)器學(xué)習(xí)審查欺凌、騷擾等不良行為，幫助加速Reddit自動(dòng)化安全系統(tǒng)。”

此次收購案有跡可循，Reddit 6月開發(fā)Hateful Content Filter Beta（仇恨內(nèi)容過濾功能），讓各論壇區(qū)塊版主決定是否打開內(nèi)容審查功能，自動(dòng)刪除有害貼文，7月另一項(xiàng)測(cè)試版功能Ban Evasion Protection（禁止回避保護(hù)機(jī)制），先讓AI判定有貼文、評(píng)論是否具有疑慮，再移交給版主審查。

如果有不當(dāng)言論，Reddit便會(huì)在貼文底下標(biāo)示。（Source：Reddit）

其他社群平臺(tái)也相繼推出內(nèi)容審查機(jī)制，像是美國喜劇演員Joe Rogan 2月在Spotify上的Podcast節(jié)目發(fā)布錯(cuò)誤的疫情報(bào)資料訊，引起270名醫(yī)師和科學(xué)家要求Spotify創(chuàng)建內(nèi)容審查制度，但Spotify卻遲遲無祭出相關(guān)政策，導(dǎo)致Neil Young及Joni Mitchell等歌手紛紛在Spotify撤下音樂。

為盡快止血，Spotify在6月成立安全咨詢委員會(huì)，10月收購內(nèi)容審查創(chuàng)業(yè)公司Kinzen，用AI幫助分析Spotify上面的音樂、視頻內(nèi)容。

Twitter也在1月創(chuàng)建內(nèi)容審查新制度Birdwatch，可以讓用戶在有疑慮的貼文底下留言，共同評(píng)論該貼文是否違反道德倫理，請(qǐng)發(fā)文人補(bǔ)充證據(jù)、相關(guān)資訊，讓內(nèi)容審查制度兼具彈性和人性。

Oterlu用AI內(nèi)容審查社群，美國創(chuàng)業(yè)公司Modulate著眼游戲產(chǎn)業(yè)

Oterlu創(chuàng)辦人Alexander Gee過去在Google信任暨安全團(tuán)隊(duì)擔(dān)任經(jīng)理，專門負(fù)責(zé)把關(guān)兒童網(wǎng)絡(luò)安全，他目睹網(wǎng)絡(luò)上大量的有害資料，因而萌生出一項(xiàng)創(chuàng)業(yè)點(diǎn)子──內(nèi)容審查，于是他尋找具備機(jī)器學(xué)習(xí)、數(shù)據(jù)分析專業(yè)的Ludvig Gee及Sebastian Nabrink，一同在2019年創(chuàng)辦Oterlu。

過去用戶僅能通過手動(dòng)舉報(bào)，讓社群平臺(tái)人工審查貼文內(nèi)容，不僅耗時(shí)又無法完全抓出所有有害貼文，而專門面向B2B公司的Oterlu通過開發(fā)SaaS平臺(tái)，用AI自動(dòng)標(biāo)記騷擾言論、臟話、色情消息等內(nèi)容。

以客戶之一、著色App Recolor例子來說，Oterlu訓(xùn)練AI模型的過程分為三步驟，首先讓AI認(rèn)識(shí)完整的句子架構(gòu)，第二是理解用戶Recolor如何交談和討論，第三則是識(shí)別什么內(nèi)容能允許發(fā)在Recolor。Oterlu還在Discord推出AI審核機(jī)器人，方便版主管理社群，目前在500多個(gè)服務(wù)器運(yùn)行，保護(hù)300多萬名用戶的社群安全。

Oterlu開發(fā)內(nèi)容審查AI模型的運(yùn)行原理。（Source：Oterlu）

內(nèi)容審查機(jī)制不僅社群媒體運(yùn)行，美國創(chuàng)業(yè)公司Modulate則將目光轉(zhuǎn)向游戲產(chǎn)業(yè)，用AI偵測(cè)游戲?qū)υ挼牟划?dāng)言論，提報(bào)不當(dāng)言論，讓官方?jīng)Q定暫停游戲、封鎖玩家賬號(hào)等后續(xù)處理。

AI自動(dòng)化審查有哪些隱憂？

不過利用AI機(jī)器人分析具有情感、主管性質(zhì)的言論，多少存有疑慮，華府智庫新美國（New America）就指出內(nèi)容審查自動(dòng)化有四大問題：

自2016年英國脫歐公投、Facebook的劍橋分析事件過后，假新聞在社群四處流竄，社群用戶成為政治廣告的投放對(duì)象，操弄公民選擇，使言論自由權(quán)利逐漸遭到濫用。從這次Reddit、Spotify的收購案，可見社群媒體對(duì)AI審查寄給厚望，然而，碰上AI技術(shù)的局限性，如何用AI模擬人們心中存有的那一把“尺”，仍有待解決方案。

（首圖來源：Oterlu）