deltaDNA：AB測試的重要性

假設(shè)您是專注于提高D1保留率的開發(fā)人員/發(fā)布者（例如）。有多少不同的變量會影響該統(tǒng)計信息？

花點(diǎn)時間，畫一些圖，做個有根據(jù)的猜測，接受你錯了，然后進(jìn)入垃圾箱。這個問題的真正答案是巨大的，不可能實(shí)現(xiàn)。

由于影響玩家體驗和游戲性能的因素太多，因此任何優(yōu)化嘗試都必須在非常特定的條件下進(jìn)行嚴(yán)格測試。他們需要經(jīng)過A / B測試。

什么是A / B測試？

A / B測試實(shí)質(zhì)上是比較同一變量的不同版本，以確定對該變量進(jìn)行更改的影響。想法是運(yùn)行并發(fā)測試，其中條件要盡可能接近相同，但要測試的變量除外。

對照組繼續(xù)經(jīng)歷“默認(rèn)”行為，治療組收到新的行為，因此您可以比較結(jié)果并確定更改所選變量的影響。

為什么要進(jìn)行A / B測試？

由于以下幾個原因，以這種方式測試更改很重要：

通過測試一小部分人口的變化，可以最大程度地降低負(fù)面變化的影響。

您可以從統(tǒng)計學(xué)上證明您提出的更改的效果，而不必依賴于直覺。

通過在運(yùn)行測試之前確定什么構(gòu)成“重大”更改，您可以客觀地進(jìn)行評估。

如果您想了解如何迭代地改進(jìn)游戲，則需要進(jìn)行A / B測試。

如何執(zhí)行成功的A / B測試

這是一個反復(fù)的過程。下圖按步驟細(xì)分了A / B測試。

耐心和紀(jì)律是成功進(jìn)行A / B測試的關(guān)鍵。那些甜蜜的結(jié)果會一點(diǎn)一點(diǎn)地出現(xiàn)。朋友們，羅馬不是一天建成的。

如何執(zhí)行不成功的A / B測試

一旦有多個變量起作用，您就無法準(zhǔn)確評估其中任何一個變量的精確影響。一次只有一個，或者根本沒有。

您可能會認(rèn)為，按地理位置，人口統(tǒng)計學(xué)或任何其他記錄的特征來劃分組的簡便方法。錯了，錯了，一千倍錯誤的。您的控制和治療小組必須由相同的受眾組成，否則整個練習(xí)沒有意義。