AppGallery Connect：素材測試 推薦實驗設(shè)計

實驗可能影響因素

素材測試實驗通過設(shè)置受影響的用戶范圍來進(jìn)行實驗分組，但實驗最終的主要參考數(shù)據(jù)依據(jù)從素材曝光到點擊下載的轉(zhuǎn)化率。受以下因素影響，相同比例的用戶對應(yīng)的曝光量可能會有較大差異：

應(yīng)用市場資源位排期：應(yīng)用在對應(yīng)測試期間內(nèi)，在華為應(yīng)用市場是否有公共的曝光資源位將很大程度影響素材在不同設(shè)備上的曝光量。若沒有資源位曝光，則素材在不同設(shè)備上的曝光量將有可能有較大差異。

設(shè)備的活躍度：不同設(shè)備的用戶在應(yīng)用市場的活躍程度不同。若A、B組均分配20%的實驗用戶，但是A組對應(yīng)用戶為華為應(yīng)用市場的活躍用戶、B組對應(yīng)用戶為非活躍用戶，則A組對應(yīng)的素材曝光量可能遠(yuǎn)高于B組。

用戶的行為意圖：若應(yīng)用在應(yīng)用市場沒有明顯的曝光資源，則素材曝光多依賴用戶的主動搜索行為。不同的設(shè)備用戶若搜索意圖相差很大，則對應(yīng)曝光量也會有很大差異。同時，用戶是否點擊進(jìn)入應(yīng)用詳情頁查看，也將直接影響詳情頁內(nèi)素材的曝光量。

推薦的實驗設(shè)計

為盡可能減小以上影響因素對實驗數(shù)據(jù)的誤差影響，我們建議您：

確定明確的實驗?zāi)繕?biāo)：確保您在設(shè)計實驗時已想好要達(dá)成的目標(biāo)，從而針對性地設(shè)計實驗。

一次僅測試一類素材：為避免不同素材間的交叉影響，建議您一次實驗僅測試一類素材。

每次實驗至少持續(xù)7天：為最大程度排除外界因素影響，建議您單次實驗持續(xù)7日以上，累積足夠數(shù)據(jù)以減小誤差。

盡可能面向50%的用戶進(jìn)行測試實驗：在可能的情況下，面向最大規(guī)模的測試受眾進(jìn)行測試能更快地獲得結(jié)果，尤其是在首頁無明顯曝光資源位的時候。

針對同一種素材類型，用多個不同素材反復(fù)實驗：大膽測試不同的素材，根據(jù)實驗結(jié)果反復(fù)改進(jìn)，以盡可能獲取最優(yōu)結(jié)論。