用科技守護信息安全,打擊互聯(lián)網(wǎng)黑色產(chǎn)業(yè)鏈,從來不是一件容易的事情。
近幾天發(fā)生了一件震驚整個互聯(lián)網(wǎng)廣告界的大事,蘋果于去年發(fā)布的IOS14操作系統(tǒng)中限制IDFA獲取的規(guī)則即將正式施行。蘋果公司《用戶隱私和數(shù)據(jù)使用》規(guī)定,從IOS14.5,iPadOS14.5和AppletvOS14.5開始,App需要通過App Tracking Transparency框架征得用戶許可,然后才能跟蹤用戶或訪問其設(shè)備的廣告標識符(IDFA)。
在此之前,用戶的廣告跟蹤功能處于默認打開的狀態(tài),關(guān)閉選項時需要手動操作。而在2020年6月,蘋果公司在全球開發(fā)者大會上表示,分享功能將由默認開啟狀態(tài)變?yōu)槟J關(guān)閉,開發(fā)者想要獲得用戶的IDFA,需要明確向用戶彈窗示意并請求許可,否則商家所獲得的的將是一串無效的0值。
對普通蘋果產(chǎn)品用戶而言,這是保護個人隱私的重大進步,但對于在看不見的地方默默守護著網(wǎng)絡潔凈、信息安全的網(wǎng)絡安全工程師而言卻是一次嚴重的誤傷。Winter is coming.凜冬將至,史塔克軍團卻在長夜失去了刺中黑產(chǎn)的匕首。
一、對互聯(lián)網(wǎng)廣告行業(yè)的影響
QuestMobile數(shù)據(jù)顯示,2019年,中國互聯(lián)網(wǎng)廣告市場規(guī)模為4699.9億元,預計到2022年,該市場規(guī)模將達到6535.1億元。其中移動互聯(lián)網(wǎng)廣告占比接近90%,未來隨著5G商業(yè)化應用的發(fā)展與落地,移動互聯(lián)網(wǎng)市場仍將保持高速增長。
此外,QuestMobile的數(shù)據(jù)表明,截至2020年6月,中國大陸地區(qū)使用蘋果終端的用戶占比為所有智能終端品牌活躍設(shè)備的26.3%。而第三方數(shù)據(jù)公司Appsflyer表示,大約只有30%的用戶在自主選擇時會同意APP開發(fā)者繼續(xù)獲取IDFA。一旦廣告歸因分析的重要數(shù)據(jù)——IDFA被禁用,那么廣告的精準投放將會受到極大的影響。
由此可以推測,該項協(xié)定將給中國移動互聯(lián)網(wǎng)廣告市場帶來巨額損失。
二、對廣告反欺詐工作的影響
蘋果修改IDFA協(xié)定對互聯(lián)網(wǎng)廣告行業(yè)的另一個深遠影響在于,給安全工程師進行廣告反欺詐工作帶來的極大的困難。
據(jù)悉,互聯(lián)網(wǎng)廣告行業(yè)中充斥的大量的異常流量。第三方數(shù)據(jù)公司秒針的數(shù)據(jù)顯示,以2019年為例,互聯(lián)網(wǎng)廣告市場的異常流量占比高達31.9%,造成的直接損失約300億元。以行業(yè)為例,網(wǎng)絡及通訊、房地產(chǎn)和家裝家具行業(yè)的廣告異常流量都超過了35%,而其他大多數(shù)行業(yè)的異常流量也都超過了30%。
根據(jù)中國廣告協(xié)會的標準,異常流量可以分為常規(guī)無效流量(GIVT)和復雜無效流量(SIVT)。常規(guī)無效流量是指能夠通過應用多種名單或標準化參數(shù)等常規(guī)方式進行過濾的流量。復雜無效流量是指無法通過簡單的規(guī)則識別出來,一般需要通過高級分析,多方合作與協(xié)調(diào),乃至人工干預等方法以及廣告投放活動以外更大范圍的數(shù)據(jù)信號才能分析和識別的流量。
通常人們所熟知的電商平臺刷單、刷信譽,自媒體行業(yè)刷粉絲,APP刷下載、激活,廣告行業(yè)刷曝光、刷點擊等都可以產(chǎn)生異常流量。流量作弊的方法一般可分為機器作弊和人為作弊。機器作弊包括機器發(fā)送虛假流量、肉機訪問網(wǎng)頁、修改DNS/IP訪問頁面以及爬蟲技術(shù)訪問頁面等,人為作弊即使用真人大量點擊廣告、下載APP等。這里我們重點討論機器作弊產(chǎn)生的異常流量。
2、黑產(chǎn)如何修改IDFA非法獲利
黑產(chǎn)能夠修改IDFA非法獲利,在于每一臺設(shè)備可以無限改機。通過改機非法獲利,需要完成以下幾步:1、修改包含內(nèi)存信息、Wi-Fi、IP、IDFA信息等;2、研究廣告主、廣告平臺的監(jiān)測方式;3、了解廣告主、廣告平臺的風控行為,使原設(shè)備成為一臺被正常用戶使用的新設(shè)備。
互聯(lián)網(wǎng)廣告行業(yè)黑色產(chǎn)業(yè)鏈團伙常常擁有專業(yè)的破解技術(shù)團隊、成熟的黑產(chǎn)設(shè)備、黑產(chǎn)賬戶供應體系以及很強的偽造能力,若破解其作案手法,難度非常大。
然而,蘋果公司此次修改IDFA協(xié)定并未給黑產(chǎn)非法作案帶來過多的影響。黑產(chǎn)利用無限改機進行引流、刷量、薅羊毛等行為時需要修改多個用戶信息,而不只限于IDFA,作案難度與此前相似。
而對于從事打擊黑產(chǎn)的安全人員來說,此次蘋果修改IDFA協(xié)定最大的影響在于,定位具體設(shè)備的難度陡然增加。
識別黑產(chǎn)團伙通常需要以下流程:
以IOS系統(tǒng)為例具體說明。從蘋果設(shè)備中可以獲取到通用的包括用戶行為在內(nèi)的IDFA,并將其上傳到后臺進行分析,通過匹配這些IDFA的歷史行為來判斷流量,若流量正常,則判斷為正常用戶,若發(fā)現(xiàn)為無效流量或者疑似無效流量,則判斷為非正常用戶或黑產(chǎn)團伙。但如果IDFA無法獲取,則需要在APP中嵌入SDK、JavaScript(JS)等代碼,識別過程更加復雜。
以常用在APP廣告檢測和驗證的SDK模式為例。
在APP中嵌入SDK代碼,收集到廣告相關(guān)參數(shù)并上傳到后臺,分析判斷用戶是否正常。
在整個工作流程里,識別用戶的IDFA是業(yè)內(nèi)通用的重要判斷依據(jù)之一,是對付惡勢力的龍晶匕首。只有精準定位產(chǎn)生異常流量的來源,才有將其一網(wǎng)打盡的可能。
三、CAID設(shè)備標識替代方案
雖然騰訊、阿里巴巴、字節(jié)跳動等皆有專屬的設(shè)備識別方案,但互相無法通用。由此可見,推出一個業(yè)界普遍認同的設(shè)備標識方案勢在必行。
事實上,中國已在2020年作出了嘗試。中國廣告協(xié)會與中國信息通信研究院聯(lián)合研究機構(gòu)以及廣告產(chǎn)業(yè)鏈多方推出了CAID(CAA Advertising ID,中國廣告協(xié)會互聯(lián)網(wǎng)廣告標識)以替代IDFA,并于2021年初開始測試。
CAID工作原理如下:
CAID在一定時間內(nèi)具有唯一性。因為在階段時間內(nèi),同一設(shè)備的標識ID保持一致,不同設(shè)備的標識ID不同,而CAID算法會遵循保密原則,以及為了確保匿名性和對抗性, CAID還會定期更新。
然而,CAID標識符的唯一性與蘋果公司的《Apple Developer Program》許可協(xié)議相違背,即應用程序不能使用任何永久的、基于設(shè)備的標識符或從中派生的任何數(shù)據(jù)來唯一標識設(shè)備。從目前蘋果對使用CAID的應用程序下架處理、對相關(guān)廠商發(fā)出警告信等一系列動作來看,蘋果態(tài)度明朗堅決,明令禁止任何追蹤用戶設(shè)備的數(shù)據(jù)源。
蘋果公司對其生態(tài)體系內(nèi)的APP具有一票否決權(quán),因此任何想要繞過ATT自行建立設(shè)備標識體系的行為風險極大。
The night is dark and full of terrors. 長夜漫漫,處處險惡,總有黑產(chǎn)團伙在虛擬世界里掘金斂財?!翱萍枷蛏啤笔鞘匪塑妶F守衛(wèi)的臨冬城,是抵御惡勢力的的第一道防線。探索定位與打擊黑產(chǎn)的新方式,保護信息安全需要整個互聯(lián)網(wǎng)行業(yè)的努力與擔當。
事實上,蘋果修改IDFA協(xié)定,對Facebook等互聯(lián)網(wǎng)巨頭同樣帶來了深刻的影響,F(xiàn)acebook廣告聯(lián)盟因此受到了重創(chuàng)。那么互聯(lián)網(wǎng)行業(yè)內(nèi)的重要參與者們?nèi)绾螒獙@一變動呢?下篇為您揭曉答案。
感謝安迪、艾瑞(均為化名)對本文的技術(shù)支持。