Chartboost Academy | 一文帶你玩轉(zhuǎn)AB測(cè)試！

一直以來(lái)，提高廣告參與度、點(diǎn)擊量和留存率都是廣告變現(xiàn)開(kāi)發(fā)者繞不開(kāi)的「必修課」。A/B測(cè)試可有效地幫助游戲開(kāi)發(fā)者以「小步快跑」的方式測(cè)試不同的廣告形式、廣告位、應(yīng)用內(nèi)購(gòu)買價(jià)格和不同廣告內(nèi)容的效果。開(kāi)發(fā)者可以通過(guò)測(cè)試來(lái)驗(yàn)證過(guò)度廣告曝光會(huì)增加卸載率的這一假設(shè)，也可以測(cè)試玩家對(duì)于某個(gè)廣告形式的滿意度，或者來(lái)測(cè)試玩家更希望通過(guò)觀看激勵(lì)視頻獲得重生還是通過(guò)內(nèi)購(gòu)獲得。在本文中，我們將深度挖掘A/B測(cè)試如何幫助開(kāi)發(fā)者優(yōu)化廣告變現(xiàn)策略，增加變現(xiàn)收益、提高用戶參與度。如何成為A/B測(cè)試專家？

1.制定測(cè)試計(jì)劃

測(cè)試前，您需要明確測(cè)試目標(biāo)，并做初步假設(shè)。比如您正在測(cè)試一個(gè)游戲新功能，希望了解玩家的參與度，并驗(yàn)證您的假設(shè)。我們建議您制定以下三步測(cè)試計(jì)劃：

01

確定受眾：誰(shuí)會(huì)體驗(yàn)這個(gè)新功能？（新手玩家還是老玩家）

02

計(jì)算指標(biāo)：選取多大的測(cè)試樣本？一共有多少個(gè)測(cè)試組？測(cè)試將持續(xù)多長(zhǎng)時(shí)間？測(cè)試對(duì)關(guān)鍵指標(biāo)有什么影響？

03

管理預(yù)期：是否團(tuán)隊(duì)所有人都了解參與了測(cè)試并了解測(cè)試后要采取的行動(dòng)？如果您的假設(shè)被驗(yàn)證，您需要做出什么調(diào)整？

2.確定測(cè)試指標(biāo)

在A/B測(cè)試開(kāi)始之前，首先需要確定您想要衡量的關(guān)鍵指標(biāo)。Zynga廣告平臺(tái)首席產(chǎn)品經(jīng)理Kyle Waring建議開(kāi)發(fā)者可以著重關(guān)注這三個(gè)指標(biāo)：廣告展示次數(shù)、每千次收益或成本（CPM）以及每日活躍用戶平均收入（ARPDAU）。為什么這些指標(biāo)很重要？

指標(biāo)

eCPM：每千次展示的有效成本，用于衡量每千次廣告展示所產(chǎn)生的收入。開(kāi)發(fā)者可以測(cè)試了解不同的廣告網(wǎng)絡(luò)、地域、位置或操作系統(tǒng)對(duì)于廣告收入的影響。

ARPDAU：每日活躍用戶平均收入。關(guān)注這一指標(biāo)不僅有助于開(kāi)發(fā)者長(zhǎng)期獲取廣告收益，同時(shí)還能及時(shí)了解收入突然激增或下降的原因。在實(shí)際操作過(guò)程中，我們建議開(kāi)發(fā)者，通過(guò)A/B測(cè)試至少帶來(lái)3%以上的ARPDAU增長(zhǎng)，再將A/B測(cè)試結(jié)果實(shí)施在您的campaign中。

互動(dòng)率：通過(guò)測(cè)量玩家在游戲上花費(fèi)的時(shí)間來(lái)追蹤用戶行為和互動(dòng)。

留存率：計(jì)算特定時(shí)間后返回您的游戲的人數(shù)占總用戶的比例。您可以按天測(cè)試留存率，比如次日留存、7日留存、30日留存。

ROAS：廣告支出回報(bào)率是衡量廣告花費(fèi)帶來(lái)都少收益的重要指標(biāo)。

3.A/B測(cè)試場(chǎng)景

01 廣告素材測(cè)試

開(kāi)發(fā)者可以通過(guò)A/B測(cè)試用戶對(duì)于不同廣告素材的反饋，找出點(diǎn)擊量最高、效果最好的素材?？梢钥刂频淖兞堪幌抻趶V告格式、設(shè)計(jì)圖案、背景顏色、廣告文案、CTA出現(xiàn)位置等等。比如您可以把引導(dǎo)下載應(yīng)用的語(yǔ)句從“Download Now”變成“Yes,I Want It!”，或者測(cè)試CTA語(yǔ)句放在屏幕上方或者下方哪里效果更好。

02 廣告展示頻率測(cè)試

假設(shè)您想測(cè)試每10分鐘展示一次廣告與每2分鐘展示一次廣告對(duì)于用戶互動(dòng)率的影響。首先，需要將Android和iOS用戶分開(kāi)測(cè)試，并確定衡量指標(biāo)例如：預(yù)計(jì)廣告收入、預(yù)計(jì)總收入、次日留存率、應(yīng)用內(nèi)購(gòu)買；然后，對(duì)于A組用戶每10分鐘展示一次廣告，B組每2分鐘展示一次廣告。最后，衡量A/B組數(shù)值差異，通常需要達(dá)到5%的數(shù)值差異才考慮進(jìn)行策略調(diào)整，如果兩組的差異不夠顯著，則沒(méi)有太多參考意義。Kyle建議開(kāi)發(fā)者勇于多次測(cè)試，不斷明確測(cè)試結(jié)果，直到結(jié)果足以顯著，再付諸實(shí)踐。

4.A/B測(cè)試結(jié)果分析

分析測(cè)試結(jié)果是最激動(dòng)人心的時(shí)候，將真實(shí)的測(cè)試結(jié)果和假設(shè)進(jìn)行比較，看關(guān)鍵指標(biāo)是否增加、減少還是保持相對(duì)不變，以確定最好的測(cè)試版本。Kyle解釋說(shuō)，A/B測(cè)試實(shí)際上可以歸結(jié)為“設(shè)計(jì)高質(zhì)量的實(shí)驗(yàn)來(lái)測(cè)試各種事物”。您可以為一支激勵(lì)視頻廣告測(cè)試4-5個(gè)變體，從而深入了解哪些獎(jiǎng)勵(lì)對(duì)用戶有吸引力。另外，測(cè)試‘失敗’也可幫助您在避免在產(chǎn)品和功能開(kāi)發(fā)上無(wú)效的投入。另外，雖然開(kāi)發(fā)者可以自定義A/B測(cè)試的時(shí)間長(zhǎng)度，但測(cè)試時(shí)間應(yīng)該足夠長(zhǎng)，以便有足夠的數(shù)據(jù)來(lái)分析和判斷趨勢(shì)。對(duì)于休閑游戲來(lái)說(shuō)，一到兩周的測(cè)試期通常是比較合理的范圍。

通過(guò)匯總和分析A/B測(cè)試的結(jié)果，開(kāi)發(fā)者可以更深入地了解不同用戶群體對(duì)廣告和游戲體驗(yàn)的偏好，通過(guò)數(shù)據(jù)制定更明智的策略，對(duì)未來(lái)的產(chǎn)品研發(fā)和功能更新進(jìn)行合理預(yù)測(cè)并有效分配支出，從而減少客戶流失、提高ARPDAU并保持用戶互動(dòng)率。