LinkedIn增長(zhǎng)案例之AB測(cè)試助力于 LinkedIn 改善郵件溝通系統(tǒng)

LinkedIn被微軟以262億美元高價(jià)收購(gòu)，它之前用于增長(zhǎng)的有效方法仍然值得我們學(xué)習(xí)與參考。你也可以利用AB測(cè)試實(shí)現(xiàn)產(chǎn)品的優(yōu)化與轉(zhuǎn)化率的提升。

這是關(guān)于LinkedIn不同的業(yè)務(wù)單元如何使用AB測(cè)試和自建AB測(cè)試平臺(tái)——XLNT，為用戶打造更好產(chǎn)品的兩篇文章中的第二篇。

在上一篇中，我們討論了試驗(yàn)是如何幫助LinkedIn改善Premium服務(wù)的。今天，我們將要談?wù)撐覀冏龅模P(guān)于與用戶通過郵件和推送進(jìn)行溝通的試驗(yàn)，以及獲得的好處。

郵件和手機(jī)推送是LinkedIn用來(lái)與用戶溝通的兩個(gè)主要的離線渠道（離線是指不需要與LinkedIn的app或網(wǎng)站進(jìn)行交互）。

溝通的內(nèi)容主要包括：成員之間的邀請(qǐng)、定期郵件（例如：LinkedIn小組更新、「你錯(cuò)過的事情」、網(wǎng)絡(luò)更新等等）、背書，以及工作推薦，還有很多其他類型的消息。

LinkedIn小組更新郵件

郵件和推送渠道是我們特別關(guān)心的，因?yàn)橛脩舨恍枰卿浀絃inkedIn的任何一個(gè)App或者網(wǎng)頁(yè)上，我們就可以幫助他們獲得新機(jī)會(huì)。

表面上看，郵件和推送可以給我們的用戶帶來(lái)很大價(jià)值；然而，他們隨意的使用可能會(huì)增加不必要的交互風(fēng)險(xiǎn)，還可能會(huì)帶來(lái)消極的用戶體驗(yàn)。我們?cè)撊绾未_保給用戶提供了最好的服務(wù)呢？

LinkedIn一直在找更好的方法來(lái)讓用戶的利益最大化。我們常常要在利益（信息被閱讀了以及有有效的用戶交互）和風(fēng)險(xiǎn)（信息被忽略或者被當(dāng)成垃圾郵件）中選擇一個(gè)最優(yōu)的權(quán)衡。LinkedIn采用的工具由很多大規(guī)模約束優(yōu)化組成，幫助我們自動(dòng)做出決策。

然而，光靠這個(gè)是不夠的。LinkedIn的溝通生態(tài)系統(tǒng)包含了大量的產(chǎn)品，對(duì)底層的郵件發(fā)送系統(tǒng)進(jìn)行迭代，會(huì)對(duì)系統(tǒng)產(chǎn)生很多復(fù)雜的影響，對(duì)離線的預(yù)測(cè)也會(huì)變得有挑戰(zhàn)性。為了了解這些方法產(chǎn)生的效果，LinkedIn跑了大量的線上試驗(yàn)。試驗(yàn)在不同的階段都很關(guān)鍵：

定義

當(dāng)提出一種優(yōu)化郵件發(fā)送的新方法時(shí)，我們會(huì)先進(jìn)行（員工）的內(nèi)部測(cè)試，然后再發(fā)布給小部分隨機(jī)用戶。這很容易用XLNT實(shí)現(xiàn)，XLNT是LinkedIn的一個(gè)AB測(cè)試平臺(tái)，可以追蹤試驗(yàn)情況和變量。

同時(shí)，也支持定向的功能，即只發(fā)布給符合條件的一部分用戶（比如，活躍用戶或者在某個(gè)地理區(qū)域的用戶）。任何這些試驗(yàn)定義上的改變也都是用相似的很有效的方式完成的。

衡量

這些試驗(yàn)的效果很復(fù)雜，且分散在不同的領(lǐng)域。如果沒有我們的這個(gè)試驗(yàn)平臺(tái)，衡量效果是比較不現(xiàn)實(shí)的。

XLNT提供一系列的指標(biāo)數(shù)據(jù)，包括郵件發(fā)送和點(diǎn)擊，下游的頁(yè)面瀏覽量，以及很重要的，用戶的抱怨和取消訂閱數(shù)。試驗(yàn)平臺(tái)所能給我們的并不只是這些，因?yàn)槲覀冇肵LNT所提供的數(shù)據(jù)衡量出了許多不同產(chǎn)品和領(lǐng)域的效果。

舉個(gè)例子，我們觀察到當(dāng)一些類型的郵件的發(fā)送量減少的時(shí)候，用戶與其他郵件的交互行為就會(huì)顯著增高。

分析

對(duì)試驗(yàn)合理的理解需要足夠的統(tǒng)計(jì)學(xué)分析。XLNT會(huì)自動(dòng)計(jì)算出有用的統(tǒng)計(jì)量，包括指標(biāo)變化的統(tǒng)計(jì)顯著性，試驗(yàn)的能力等（比如，指定樣本量和感興趣的指標(biāo)，我們是否可以看到想要的結(jié)果），以及目標(biāo)人口增加時(shí)預(yù)期的站點(diǎn)范圍內(nèi)的效果。

除此之外，通過對(duì)不同試驗(yàn)變量的樣本量自動(dòng)計(jì)算，可以發(fā)現(xiàn)正交試驗(yàn)的相互作用。尤其是，讓我們發(fā)現(xiàn)兩個(gè)都做發(fā)送或不發(fā)送決策的試驗(yàn)之間意料之外的相互作用。

這種優(yōu)化和試驗(yàn)的結(jié)合是相當(dāng)有效的。到今年為止，LinkedIn少發(fā)了40%的郵件，減少了一半的郵件投訴，得到了用戶們積極的回應(yīng)，而且還增加了郵件的交互率。這個(gè)是邁向我們跟客戶交流有用信息的目標(biāo)的重要的一步。

作者：Romer Rosales，吆喝科技翻譯

原文鏈接：https://engineering.linkedin.com/blog/2015/10/how-experimentation-helped-linkedin-improve-email-communication