Google Play：進行應用內AB測試以改進您的應用

您可以借助 A/B 測試面向一部分用戶測試應用的改進內容，然后根據(jù)收集到的數(shù)據(jù)選擇適合整個用戶群的最佳解決方案。

這樣做的好處

您可以通過 A/B 測試來確定您對應用功能或內容所做的更改是否有所裨益，而不必再憑空猜測了。而且，由于您可以面向一部分用戶測試更改，所以您不必擔心發(fā)布后會對所有用戶造成非預期的影響。

方法

1. 選擇合適的 A/B 測試平臺，例如使用 Firebase 遠程配置隨機挑選一定比例的用戶、使用 Google Analytics for Firebase 指定目標對象，再搭配 Google 跟蹤代碼管理器，并與應用進行整合。

2. 確定要測試的功能或內容變體，以及您衡量這些變體成功與否的標準。

3. 設置要在每個測試變體中以及向未參加測試的用戶顯示的功能或內容，例如：

   場景：現(xiàn)有功能的新實現(xiàn)方式

   示例：使用底部導航欄（而非標簽頁）來提升用戶互動度。

   群組	用戶看到的界面
   未參加測試的用戶	現(xiàn)有實現(xiàn)方式（標簽頁）
   變體 A	現(xiàn)有實現(xiàn)方式（標簽頁）
   變體 B	新的功能實現(xiàn)方式（底部導航欄）
   變體 C、D 等（可選）	其他功能實施方式（例如：抽屜式導航欄）

   場景：可創(chuàng)建新指標的新功能

   示例：按熱門程度（而非價格）列出應用內購商品，以便獲得更多的收入。

   群組	用戶看到的界面
   未參加測試的用戶	不含新功能（未啟用應用內購買）
   變體 A	第 1 種新功能實施方式（按熱門程度列出應用內購商品）
   變體 B	第 2 種新功能實施方式（按價格列出應用內購商品）
   變體 C、D 等（可選）	其他功能實現(xiàn)方式（例如：按字母順序列出購買內容）

   場景：使用現(xiàn)有指標衡量的新功能

   示例：允許用戶標記商品，以便提升用戶互動度。

   群組	用戶看到的界面
   未參加測試的用戶	不含新功能（未啟用標記商品功能）
   變體 A	不含新功能（未啟用標記商品功能）
   變體 B	新功能實施方式（例如：使用心形符號標記商品）
   變體 C、D 等（可選）	其他功能實現(xiàn)方式（例如：使用星形符號標記商品）

4. 選擇測試人數(shù)或測試持續(xù)時間（具體取決于 A/B 測試平臺的功能），最低目標測試人數(shù)為 1000 位用戶。

5. 運行測試。

6. 查看測試結果，以確定結果是否具有統(tǒng)計意義以及是否有測試變體成功改善了應用的效果。

7. 面向所有用戶發(fā)布“效果最佳”的更改內容。

最佳做法

• 選擇能夠支持大規(guī)模測試的平臺。 隨著您的應用和業(yè)務的發(fā)展，您將需要更頻繁地進行更多的 A/B 測試。確保您選擇的平臺可以面向相同的用戶群體同時運行多項測試，理想的情況是讓同一批人接受測試（用戶可同時參與多項測試）。

• 視需要決定測試變體的數(shù)量，以確保測試對您有所幫助。 如果某個功能或內容選項有多種實用且您認為可能有提升作用的替代方案，您最好針對兩種以上的變體進行測試。

  考慮使用多變量方法來定義變體。例如：

• 確保您的測試持續(xù)足夠長的時間以排除周期性變化。 用戶的行為可能有周期性變化，例如每小時、每天、每周或類似周期。在設置測試持續(xù)時間時，請考慮這種循環(huán)行為。如果已知相應行為在更長的周期內會發(fā)生變化，那么您可能需要采用較短的測試周期，并推斷結果。

• 確保用戶細分之間的已知差異不會影響您的測試結果。 如果您認為用戶的行為會因用戶的細分而有所不同，請在一個細分內進行測試，或確保選擇能代表所有用戶的群組作為樣本進行測試。例如，如果已知用戶帶來的平均收入因國家/地區(qū)而異，您可以通過對來自一個國家/地區(qū)的用戶進行測試，或對來自所有國家/地區(qū)的用戶進行抽樣測試。

• 針對多個細分進行測試。 如果您擁有可用且已掌握其信息的用戶細分（如國家/地區(qū)、用戶獲取渠道），則可考慮面向不同的細分進行測試，以了解結果之間的差異。您可以選擇只對部分細分發(fā)布更改，也可以將不同的更改發(fā)布給不同的細分。

• 在設定測試持續(xù)時間時考慮潛在的商業(yè)效益。 在設定測試的持續(xù)時間或測試群體的規(guī)模（這會影響向測試人員顯示不同變體所需的時間）時，需考慮時間較短的測試是否具有商業(yè)效益（例如可以更快地獲利）。

• 對任何不符合預期的負面結果進行監(jiān)測，并做好隨時停止測試的準備。 盡管測試可能僅涉及一小部分用戶，但如果測試結果非常糟糕，仍會影響您的評分和評價；此外，其他用戶也可能因為在社交媒體上看到測試者分享的信息，而對您的應用產(chǎn)生負面印象。

• 在平臺允許的條件下，逐步發(fā)布更改。 即使測試結果可能從統(tǒng)計學角度表明做出某項更改是有益處的，但是當您將這項更改面向所有用戶發(fā)布時，仍可能出現(xiàn)不符合預期的結果。通過逐步發(fā)布更改，您可以分批向用戶發(fā)布更改并監(jiān)控效果，一旦發(fā)現(xiàn)沒有實現(xiàn)預期的效益，則停止發(fā)布。

• 從指標中排除參與測試的用戶。 如果您允許用戶選擇是否參與測試來查看或使用您正在測試的新功能，請記住將這類用戶從指標中排除。