面對疫情期間快速發(fā)展的游戲與流媒體的黃金時代,剛舉辦的「她數(shù)據(jù)」3月線上分享會和大家一起探討了游戲與流媒體行業(yè)的數(shù)據(jù)科學(xué)前沿動態(tài)。本次沙龍的三位嘉賓分別是:Harris Liu, Jackie Yuan 和 Jiawei。
Harris在Disney Streaming Services擔(dān)任數(shù)據(jù)科學(xué)經(jīng)理;Jackie Yuan任職于全球領(lǐng)先的智能手機(jī)和平板設(shè)備游戲開發(fā)商和發(fā)行商Glu Mobile;Jiawei是TikTok的一名高級數(shù)據(jù)科學(xué)家。本次活動的moderator是MarTechApe和Women In Analytics的創(chuàng)始人Zoe。
接下來就來看看本場活動的精華總結(jié):
Q1:是什么樣的學(xué)習(xí)和工作經(jīng)歷引領(lǐng)你到達(dá)現(xiàn)在的位置?
Jiawei: 我現(xiàn)在是Tiktok的Lead Data Scientist,從事方向是trust & safety。Tiktok之前在comcast做了四年Data Analyst,分析的類型不是很固定,包括marketing、finance和operation等等,在這個過程中學(xué)到了很多技能和分析的框架。Comcast之前是在Morgan Stanley做分析師。我的研究生讀的是金融,后來是自學(xué)了數(shù)據(jù)分析相關(guān)的知識才進(jìn)入數(shù)據(jù)行業(yè)。本科是在國內(nèi)讀的材料科學(xué)與工程,在過去十年我在不斷探索自己,最終發(fā)現(xiàn)數(shù)據(jù)是自己最感興趣的,所以就繼續(xù)在這個行業(yè)做下去了。
Harris:我在Disney Streaming 擔(dān)任Data Science Manager,方向主要是增長營銷。在這之前我在GroupM做市場營銷分析,主要是做市場營銷分析和Marketing Mix Modeling這一塊。再之前是在一個startup公司,在這個小公司里面學(xué)到了很多東西,幾乎每個方面也有接觸到,因?yàn)閟tartup公司真正需要的不是一個Data Scientist,而是一個Data Person。研究生是在NYU讀的,本科在University of Rochester讀的統(tǒng)計和商務(wù)雙學(xué)位。
Jackie:我本科學(xué)的其實(shí)是藥學(xué),研究生也是流行病學(xué)相關(guān),和數(shù)據(jù)其實(shí)挺不相關(guān)的。當(dāng)時畢業(yè)的時候也是在思考是要進(jìn)入業(yè)界還是繼續(xù)做研究,最終決定了在一個醫(yī)藥公司做Statistical Programmer,主要寫SAS。然后跳到了一個音樂制作方面的APP,目前在一家游戲公司做DS。
Q2:你平時在工作中的一天是怎么樣的?你的工作側(cè)重哪方面的數(shù)據(jù)分析?所做工作對公司來說有什么戰(zhàn)略意義?
Harris:在疫情之后,我們的工作時間都相對比較靈活,但我們每周會有一次會議跟進(jìn)組員的進(jìn)度。組里面目前有一個Marketing Mix Modeling和Multi-Touch Attributionmodel的兩個大項目,還有其他偏向experimentation和causal inference的工作。因?yàn)樽鰉arketing這一塊,不能僅局限與一個模型,所以我們的研究框架是用MMM、MTA和experimentation三個方面來綜合地去分析。
我們的DS和Analytics其實(shí)是分開的,Analytics部門和stakeholder的溝通比較多,我們DS做的東西是需要應(yīng)用到整個公司的,我們上游的部門包括acquisition和paid media marketing組。
我們研究框架里的三大區(qū)域中,MMM用比較宏觀的數(shù)據(jù)通過模型來進(jìn)行預(yù)測和預(yù)算優(yōu)化,用的數(shù)據(jù)比較高階,如每天的營銷投入、click、impression,還有其他宏觀的數(shù)據(jù)如競爭者的投入和Covid相關(guān)數(shù)據(jù),模型基本都是以回歸模型和時間序列模型為基礎(chǔ),通常一個季度跑一次模型;MTA相對微觀,這個模型做的是觸點(diǎn),我們可以跟蹤到每個用戶在哪個網(wǎng)站上看到Disney的廣告,連接所有的觸點(diǎn),跟蹤用戶的渠道數(shù)據(jù),將營銷歸因到不同的渠道,用的數(shù)據(jù)量比較大,我們基本上每天都會跑模型,最后把結(jié)果放進(jìn)dashboard里給付費(fèi)媒體部門參考;最后我們會通過實(shí)驗(yàn)去驗(yàn)證模型的結(jié)果,比如如果模型告訴你Paid search貢獻(xiàn)了10%的用戶注冊,然后我們就可以設(shè)計實(shí)驗(yàn)去驗(yàn)證這個結(jié)果。
Jackie:我們沒有很固定的routine。我們一般是一個studio專門做某一款游戲,上下游基本上是產(chǎn)品經(jīng)理,也會有內(nèi)容生產(chǎn)的人員,還有marketing、獲客和PR部門。分析的數(shù)據(jù)主要是用戶數(shù)據(jù),看用戶在游戲過程中的玩法、進(jìn)階。在和產(chǎn)品經(jīng)理和內(nèi)容創(chuàng)作人員討論游戲經(jīng)濟(jì)和整個生態(tài)系統(tǒng)設(shè)計的時候會用到一些游戲貨幣相關(guān)的數(shù)據(jù)。也會和市場和增長部門合作,去看campaign是否有效,需不需要把預(yù)算放到其他渠道上。
Jiawei:工作時間比較靈活,但因?yàn)門ikTok相對比較小,所以工作會稍微累一點(diǎn),工作時長稍長。我們平時主要和產(chǎn)品經(jīng)理合作,幫助他們決定是否推出某個產(chǎn)品或者feature。
整個Analytics部門比較像一個橋梁,把DS和Business連接起來。在DS方面我們會和DS部門去討論機(jī)器學(xué)習(xí)模型、和DE部門溝通數(shù)據(jù)需求;在Business 這邊,我所在的trust & safety組主要是去維護(hù)平臺的健康(比如去下架一些違規(guī)的視頻和用戶),所以和Operations部門的合作比較多,也會做一些數(shù)據(jù)分析去幫助平臺更好地制定上傳視頻的規(guī)則。
具體工作主要包括:1. 數(shù)據(jù)分析,用數(shù)據(jù)解答商業(yè)問題,并且提出建議;2. Dashboard制作,找到重要的KPI然后做成報表,更好地去給上級解釋數(shù)據(jù);3. 數(shù)據(jù)產(chǎn)品,我們會建一些數(shù)據(jù)產(chǎn)品去支持Business 組。
Q3:請你舉一個具體的例子介紹一個你工作中的應(yīng)用場景
Jiawei:Tiktok去年有一個新的項目叫Creater Fund,投入了20億美金去激勵用戶創(chuàng)作短視頻。每個creater需要提交申請去獲得資助,我在項目中的主要工作是去設(shè)計一整個流程分析用戶的行為、判斷用戶好壞,去決定是否通過用戶的申請,最后建立Data pipeline把整個流程自動化,從數(shù)據(jù)清洗到處理,到最后產(chǎn)出Label(通過與否),把這整個過程做到APP里面。用到的數(shù)據(jù)包括視頻數(shù)據(jù)、用戶數(shù)據(jù)、評論和直播數(shù)據(jù),所有在TikTok上有的數(shù)據(jù)我們都會接觸到,數(shù)據(jù)量還是挺大的。
Harris:MTA中比較困難的一點(diǎn)是很多的觸點(diǎn)是容易被忽略的。比如如果一個用戶看到了Google里面的一個banner,一天后又在Facebook看到一個廣告,然后覺得Disney+這個APP挺好的,所以最后在Google上搜索進(jìn)入網(wǎng)頁進(jìn)行注冊。如果用Last-touch attribution來看的話,我們會把這個行為歸因于Google Search,那么就會把錢都投在keyword上,但這樣的話其實(shí)忽略了前面兩個觸點(diǎn)。而我們的項目做的就是把所有的觸點(diǎn)全部連接在一起。比如我們可以建立一個Rule-based模型,不同觸點(diǎn)有各自的權(quán)重,這樣我們決策的時候就不會疏忽前面的觸點(diǎn)。
現(xiàn)在一個很大的挑戰(zhàn)是,因?yàn)楝F(xiàn)在有很多規(guī)則限制了我們獲取用戶數(shù)據(jù),所以我們嘗試建立概率模型,我們用其他的Signal去模擬各個用戶來代替cookie ID。這樣可以把用戶的整個營銷行為流程連接起來,使得模型更加精細(xì)。模型完成之后,我們會和DE部門溝通做出一個Pipeline,和Reporting Team溝通如何制作看板去可視化,然后把分析結(jié)果發(fā)給營銷部門,分析哪個戰(zhàn)役有效,哪個表現(xiàn)比較好,最后設(shè)計地理區(qū)域?qū)嶒?yàn)去驗(yàn)證模型的結(jié)果。我們在美國一般是在市場區(qū)域水平上做實(shí)驗(yàn),比如在其中一個市場區(qū)域中關(guān)閉一個渠道,然后其他的市場區(qū)域正常運(yùn)行,去驗(yàn)證模型的決策是否正確。
Jackie:之前做了一個分析紐約洋基隊廣告效果的項目,廣告是在紐約地區(qū)的電視上投放,我們想看這個手游在手機(jī)的下載是否有提高。當(dāng)時比較困難的是,要首先確定市場區(qū)域數(shù)據(jù)在哪里找,最后我在網(wǎng)上找到了一個公共的數(shù)據(jù)源,里面有每個市場區(qū)域的郵編。然后也是和Harris說的相似,我們做了地理區(qū)域的實(shí)驗(yàn),找到其他地區(qū)的和洋基隊相似規(guī)模、流行度的棒球隊,在模型里加入地理位置的控制變量,其他地區(qū)沒有投放這個電視廣告,但是紐約投放了,在實(shí)驗(yàn)中分析在固定時間內(nèi)我們手游APP有沒有更多的下載量、互動量和APP內(nèi)購買量。其實(shí)就相當(dāng)于一個簡單的前后測分析,也可以做成一個因果推斷分析(causal inference)。
另外的一個例子是和用戶增長相關(guān)的。我們一共有好幾個正在做的游戲,想看看是否能在這些游戲內(nèi)部相互引流,把一個游戲的用戶推廣到另一個游戲上。我們數(shù)據(jù)部門要做的是,分析這兩個游戲是否會有自身蠶食,也就是用戶會不會只玩A或者只玩B、甚至兩個都不玩。我們也會看整個游戲生態(tài)系統(tǒng)是否有促進(jìn),看看用戶玩游戲的時間有沒有更長、花的游戲幣有沒有更多,去決定公司怎么樣分配預(yù)算獲取用戶是最有效的。用的數(shù)據(jù)都比較高階,比如用戶什么時候下載,一個月后有沒有回來,什么時候開始花錢等等,而不是游戲里面用戶的具體行為。
Q4:數(shù)據(jù)工作者如何在公司里提高自己的影響力?在公司里受到阻力時怎么克服?
Jiawei:我覺得最關(guān)鍵的一點(diǎn)是要確定目前對于business來說最重要的事情,要分配好每件事情的目標(biāo)和優(yōu)先級,不斷做出好的項目。因?yàn)樵趧偧尤胍粋€組的時候沒有人知道你能做什么項目,所以要建立自己的reputation,才能被別人認(rèn)可、擴(kuò)大自己的影響力。
Harris:我的建議和Jiawei相似,如果一個整個公司有一個總的目標(biāo),比如Disney Streaming的目標(biāo)是如何增加訂閱用戶,我們可以一步一步細(xì)化。對于finance角度來說就是要增加營業(yè)收入,我們可以看怎樣從細(xì)節(jié)上增加營收。比如我們的stakeholder是營銷部門,他們的KPI大部分是CPA(Cost Per Acquisition),也就是如何有效低成本地增長用戶群體,所以我們的DS要做的就是讓stakeholder更好地做出投入決策。
另外一個方面的話,Disney一個很重要的文化是要用數(shù)據(jù)講故事,所以除了自己做項目之外,在公司內(nèi)部的社交也是很重要的。比如你可以嘗試主動和同事或者stakeholder分享自己的項目,甚至提出合作。
Jackie:當(dāng)你做一個分析的時候,因?yàn)檫@個需求是一直存在的,所以要思考如何比過去的人做得更好。可以從整個流程去思考怎么樣能比過去的人解決得更好,更加精準(zhǔn)。因?yàn)槲覀児居泻芏囗椖浚m然我現(xiàn)在只在一個游戲項目中做分析,但我可以考慮我的這個分析是否可以應(yīng)用到其他項目,甚至整個公司的portfolio,擴(kuò)大自己的影響力。
Q5:對在娛樂行業(yè)數(shù)據(jù)分析求職的新人有什么建議?
Harris:首先是不斷學(xué)習(xí)提升自己technical能力,我們在招聘的時候會要求面試者在30分鐘內(nèi)很快地去解決問題,所以基本功還是很重要的。同時也要關(guān)注一些行業(yè)前沿的文章、新的研究方法。
Jackie:因?yàn)橛螒蛐袠I(yè)相對比較內(nèi)卷,所以對于游戲行業(yè)來說,還是希望求職的新人對游戲有一定的興趣和了解。
Jiawei:首先是要滿足基本的技術(shù)要求,包括SQL、分析思維、統(tǒng)計和概率的知識等等要比較熟練。然后是對你即將加入的行業(yè)要有了解,因?yàn)槊嬖嚨臅r候會問到對相應(yīng)產(chǎn)品的一些想法。