本文來自特約撰稿人Abhimanyu和Victoria。文中所述的測試是他們在Flaregames工作期間完成的。
新款游戲馬上就要發(fā)布了?應用平臺有沒有承諾在商城中給你提供曝光度?想要預測平臺提供的曝光度能帶來多少安裝量?如果你想要精準的數字,那得去問問魔力水晶球。如果你想做個大概的估算,請繼續(xù)看下文!
許多游戲開發(fā)者都明顯意識到,通過平臺主推獲得的安裝量已不復當年之多(iOS平臺更是如此)。但在商城的顯要位置曝光依然能帶來可觀的流量,這些位置是游戲公司的必爭之地。令人遺憾的是,預測主推周/主推月的安裝量讓很多團隊都感到扎心。不足為奇的是,在對項目營收進行合理預估時,預測安裝量也是項目經理和高管們最重要和最頭疼的工作。每家公司都會通過不同的方法來解決這個問題,大多數公司會根據同類游戲的安裝量進行預測。但這類方法的準確率往往很低,而且解讀會收到個人觀點的影響。
我們認識到這個問題的困難性且沒有關于這一話題的公開分析,于是打算采用一些科學的方法來解決這個看似很抽象的預測問題。經過認真分析影響潛在客戶安裝決定的關鍵因素后,我們決定測試以下這種假設:游戲首發(fā)周的安裝量與游戲的主推版位、類型和藝術風格之間存在關系。下面的分析證實了這種假設是正確的。我們希望通過本文為游戲公司介紹一種能夠付諸實踐的方法,并提供一些相關的研究發(fā)現來助力行業(yè)獲得進一步發(fā)展。
分析方法
與任何同類研究一樣,這套分析方法包含了建立數據集、開展統(tǒng)計測試和創(chuàng)建模型3個階段。
具體如下:
分析了在2018年4月2日至9月27日間主推的150多款游戲
每款游戲都按主推版位、類型和藝術風格進行分類
采用Kruskal-Wallis(KW)(1)假設測試來檢驗假設
我們建立了一個線性回歸模型,將假設游戲的3種變量分類作為輸入,并輸出游戲在首發(fā)周/首發(fā)月的預測安裝量范圍
在建立基礎數據集時,我們使用了App Annie提供的優(yōu)質服務來收集相關游戲的iOS自然安裝量估值和主推日期。我們假設游戲的全球iOS主推日期與iOS美國主推日期一致。因此,這次分析僅限于iOS數據。
擁有大型IP的付費游戲和精選游戲未納入基礎數據集考量。大型IP游戲包括(但不限于)基于大型電影、電視劇和名人開發(fā)的游戲,以及原創(chuàng)爆款游戲的續(xù)作。值得一提的是,我們在第一輪分析中確實試圖納入大型IP游戲,但逐漸意識到這是一個非常棘手的難題。我們最終得出的結論是,影響大型IP游戲首發(fā)周/首發(fā)月安裝量的因素數量超出了本次分析的范疇。但我們機會以后建立一個模型來解決這個問題。
變量定義
數據集中的每款游戲按3種變量進行分類,即主推版位、類型和藝術風格。與這些變量相關的賦值例如:
我們采用了Game Refinery和Michail Katkoff(2)制定的游戲分類法來劃分游戲類型(見下圖)。例如,“休閑游戲”是一種游戲類別,“街機游戲”是一種游戲類型,“平臺游戲”是一種子類型。由于基礎數據集有限且復雜的分類可能無法帶來具有實操性的研究結果,因此數據點分類沒有考慮使用子類型。雖然如此,但應注意到子類型顯然可以在更大的數據集中使用。
驗證假設
我們再提一下初始的假設:游戲首發(fā)周的安裝量與游戲的主推版位、類型和藝術風格之間存在關系。
我們已使用Kruskal-Wallis(KW)假設測試證實上述假設是正確的。我們進一步利用這個假設驗證了首發(fā)周的安裝量也存在類似的關系。下表通過P值概括反映了各項測試的意義,P值應小于0.10才具有統(tǒng)計學意義。整體而言,每種變量都在各種優(yōu)勢方面顯示出了統(tǒng)計學意義。我們的研究結論概括如下:
雖然“藝術風格”變量的表現顯然是最弱的,但隨著數據集規(guī)模的增加,它與安裝量的關系會變得更強?!邦愋汀弊兞恳彩侨绱?。與此同時,我們一定要注意到,顯著的結果與優(yōu)勢的相關度很高,無論游戲的優(yōu)勢是什么。
接著,我們開展了以下工作:
針對各個變量值建立安裝量范圍
建立模型利用這些不同強度的變量來提供一個關于假設游戲的首發(fā)周/首發(fā)月安裝量的定向預測
下圖是首發(fā)周安裝量范圍對應的一些變量值。藍色柱條代表平均值,黑色細線代表敏感度范圍。一個有趣的發(fā)現是,“大型”主推為首發(fā)周帶來的安裝量范圍并不一定會高于“中大型”主推帶來的安裝量范圍,這進一步證明了用戶在決定下載一款游戲時存在更多的變量。
我們現在能談談未來了嗎?
根據以上分析,下一步顯然是建立模型來對假設/未發(fā)布的游戲的首發(fā)周/首發(fā)月安裝量范圍進行定向預測。需要指出的是,150多款游戲的基礎數據集并不足以創(chuàng)建穩(wěn)定的預測模型,但我們可以通過一些務實的方法來嘗試建立一個預測模型。
我們主要嘗試使用3種變量作為輸入來創(chuàng)建一個簡單的線性回歸模型,并使用未納入基本數據集的主推游戲來進行測試。我們希望測試結果能夠證明建立一個復雜的統(tǒng)計模型是合理的,并且我們很高興看到一些結果能夠證明在這方面投入額外的時間是合理的。下圖是我們的模型預測的首發(fā)周安裝量和App Annie下載預估提供的實際安裝量的對比:
從上圖可以看出,我們的預測有時準有時不準,平均誤差范圍為+/-5萬。導致這種情況的原因有兩個:一是我們的模型設計還比較原始,二是基礎數據集規(guī)模較小??梢钥隙ǖ氖牵ㄟ^嘗試不同且可能更復雜的統(tǒng)計模型,同時擴大基本數據集的規(guī)模,我們的預測精度還能進一步提高。由于我們很容易在這方面過度投入,因此在模型設計的復雜性和時間投入之間找到平衡是關鍵,并且應該由這些定向預測要達到的目標來驅動。
有效預測首發(fā)周安裝量的方法
我們通過上述的測試可以看出,游戲首發(fā)周/首發(fā)月的安裝量與主推版位、類型和藝術風格之間顯然存在關系。在此基礎上,我們將通過不斷增加數據集、嘗試更復雜的統(tǒng)計模型以及考慮IP、平臺、主題、應用大小和首發(fā)市場等關鍵變量來探尋這些變量之間更緊密的關系。
我們可以很自信地說,在預測游戲首發(fā)周/首發(fā)月的安裝量時,應該堅持采用定向預測來估算大概范圍,而不是絞盡腦汁尋找一個準確的數字。希望上述方法和研究結論可以幫助大家更好地制定業(yè)務計劃!
注釋:
(1)Kruskal-Wallis(KW)假設測試
https://en.wikipedia.org/wiki/Kruskal%E2%80%93Wallis_one-way_analysis_of_variance
(2)Game Refinery和Michail Katkoff游戲分類法
https://www.gamerefinery.com/new-genre-taxonomy-and-why-we-need-it/
更多Facebook出海指南可訪問Facebook專題