deltaDNA：AB測試的重要性

假設您是專注于提高D1保留率的開發(fā)人員/發(fā)布者（例如）。有多少不同的變量會影響該統(tǒng)計信息？

花點時間，畫一些圖，做個有根據(jù)的猜測，接受你錯了，然后進入垃圾箱。這個問題的真正答案是巨大的，不可能實現(xiàn)。

由于影響玩家體驗和游戲性能的因素太多，因此任何優(yōu)化嘗試都必須在非常特定的條件下進行嚴格測試。他們需要經(jīng)過A / B測試。

什么是A / B測試？

A / B測試實質上是比較同一變量的不同版本，以確定對該變量進行更改的影響。想法是運行并發(fā)測試，其中條件要盡可能接近相同，但要測試的變量除外。

對照組繼續(xù)經(jīng)歷“默認”行為，治療組收到新的行為，因此您可以比較結果并確定更改所選變量的影響。

為什么要進行A / B測試？

由于以下幾個原因，以這種方式測試更改很重要：

通過測試一小部分人口的變化，可以最大程度地降低負面變化的影響。

您可以從統(tǒng)計學上證明您提出的更改的效果，而不必依賴于直覺。

通過在運行測試之前確定什么構成“重大”更改，您可以客觀地進行評估。

如果您想了解如何迭代地改進游戲，則需要進行A / B測試。

如何執(zhí)行成功的A / B測試

這是一個反復的過程。下圖按步驟細分了A / B測試。

耐心和紀律是成功進行A / B測試的關鍵。那些甜蜜的結果會一點一點地出現(xiàn)。朋友們，羅馬不是一天建成的。

如何執(zhí)行不成功的A / B測試

一旦有多個變量起作用，您就無法準確評估其中任何一個變量的精確影響。一次只有一個，或者根本沒有。

您可能會認為，按地理位置，人口統(tǒng)計學或任何其他記錄的特征來劃分組的簡便方法。錯了，錯了，一千倍錯誤的。您的控制和治療小組必須由相同的受眾組成，否則整個練習沒有意義。