AB測(cè)試到底測(cè)什么？怎么測(cè)？

策略即是選擇，正確的策略是選擇那些更有效的方向和方式方法來(lái)實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。然而怎樣判斷策略的有效性、又如何驗(yàn)證一個(gè)選擇就比另一個(gè)更優(yōu)則需要A/B測(cè)試的輔助。

但是A/B測(cè)試需要具備怎樣的功能才能讓開(kāi)發(fā)者在短時(shí)間內(nèi)測(cè)出更優(yōu)策略？怎樣的操作才能讓A/B測(cè)試更有效果？今天TradPlus的產(chǎn)品經(jīng)理陳圓圓將與大家分享TradPlus A/B測(cè)試的好用功能及使用場(chǎng)景，幫助開(kāi)發(fā)者做出高效優(yōu)質(zhì)的變現(xiàn)決策。

多套方案同時(shí)測(cè)試

快速找到更優(yōu)策略

傳統(tǒng)的A/B測(cè)試只能設(shè)置一個(gè)對(duì)照組和一個(gè)實(shí)驗(yàn)組，一次測(cè)試只能對(duì)比兩種策略。但如果遇到要從多個(gè)策略中進(jìn)行擇優(yōu)選擇的話，就需要進(jìn)行多次A/B測(cè)試。這樣費(fèi)時(shí)費(fèi)力，又無(wú)法更快地采用更優(yōu)策略提升廣告表現(xiàn)。

TradPlus A/B測(cè)試功能可以讓開(kāi)發(fā)者同時(shí)設(shè)置多個(gè)實(shí)驗(yàn)組，將不同策略進(jìn)行同時(shí)對(duì)比，并根據(jù)自身流量自由分配不同分組的流量比例。有效地節(jié)省了測(cè)試時(shí)長(zhǎng)，提升了新策略的采用速度。

多維度數(shù)據(jù)測(cè)試

細(xì)致顆粒度對(duì)比

精細(xì)化變現(xiàn)要求可測(cè)試的數(shù)據(jù)維度顆粒度更細(xì)，這樣才能保證可測(cè)試的數(shù)據(jù)變量更多，可控性更強(qiáng)。但是越是細(xì)分的維度越容易讓人找不到方向，陷入“我到底該測(cè)試哪個(gè)變量”的困惑。TradPlus不僅提供多維度的細(xì)分?jǐn)?shù)據(jù)測(cè)試選擇，還對(duì)這些維度進(jìn)行了方向性的概括和分類，讓大家輕松找到測(cè)試方向。

用戶分組測(cè)試

不同用戶的來(lái)源和行為決定了他們屬性的不同，開(kāi)發(fā)者可以針對(duì)不同用戶屬性進(jìn)行分組測(cè)試，根據(jù)用戶的國(guó)家、渠道、設(shè)備類型、游戲等級(jí)、內(nèi)購(gòu)金額等來(lái)測(cè)試不同策略的有效性。

廣告加載測(cè)試

不同的國(guó)家網(wǎng)絡(luò)情況、廣告場(chǎng)景的位置、開(kāi)發(fā)者現(xiàn)階段的變現(xiàn)目標(biāo)都決定了所需要的廣告加載需求不同。開(kāi)發(fā)者可以針對(duì)廣告加載相關(guān)的維度進(jìn)行測(cè)試，例如并行請(qǐng)求數(shù)、廣告請(qǐng)求時(shí)長(zhǎng)、備用廣告等待時(shí)長(zhǎng)、速度優(yōu)先or eCPM優(yōu)先等，找到適合自己產(chǎn)品的最優(yōu)策略。

Bidding和Waterfall測(cè)試

要知道怎樣的競(jìng)價(jià)才是最充分的，最適合現(xiàn)有變現(xiàn)需求的，就需要針對(duì)Bidding和Waterfall的策略進(jìn)行測(cè)試，這包含測(cè)試Bidding廣告源個(gè)數(shù)&保留數(shù)、瀑布流層數(shù)、不同分層定價(jià)，是否設(shè)置底價(jià)等。

經(jīng)典使用場(chǎng)景

有效指導(dǎo)配置

下面跟大家分享一些A/B測(cè)試的具體使用場(chǎng)景，希望對(duì)您的日常A/B測(cè)試操作有所幫助：

01

02

問(wèn)題

開(kāi)發(fā)者希望知道哪些配置策略更適合某些特定國(guó)家，但又不希望測(cè)試過(guò)程中對(duì)廣告表現(xiàn)有較大影響，應(yīng)該如何做出合理決策？

解決方案

可通過(guò)針對(duì)所有國(guó)家建立對(duì)照組和實(shí)驗(yàn)組進(jìn)行不同配置策略，再進(jìn)行分國(guó)家查看不同國(guó)家的表現(xiàn)，表現(xiàn)優(yōu)異的國(guó)家可采用相應(yīng)的配置策略。這樣既可以測(cè)出更優(yōu)策略，又可以減少對(duì)廣告表現(xiàn)的影響。

03

問(wèn)題

開(kāi)發(fā)者通常認(rèn)為新的廣告源的加入會(huì)對(duì)整體廣告收益有所提升，但實(shí)際情況卻并非總是如此，該如何判斷是否要增加廣告源？

解決方案

通過(guò)在實(shí)驗(yàn)組中配置新的廣告源來(lái)對(duì)比最終ARPU值的表現(xiàn)。有的時(shí)候新增廣告源存在帶來(lái)ARPU下降的情況，此時(shí)可能是新增廣告源填充時(shí)長(zhǎng)過(guò)長(zhǎng)導(dǎo)致整體填充和展示下降，導(dǎo)致整體收入下降。

最后，很多開(kāi)發(fā)者經(jīng)常會(huì)思考的問(wèn)題：一次測(cè)試的結(jié)論可以一直沿用嗎？

答案是NO！之前測(cè)過(guò)的結(jié)論還要再測(cè)！

因?yàn)樽兞恳恢痹谧儯珹/B測(cè)試也需要定期再測(cè)，這將確保您采用的策略一直是更優(yōu)的，業(yè)務(wù)也能一直保持穩(wěn)步上漲。