數據科學并不算是一個全新的領域,可以追溯到50年前,統(tǒng)計學家John W.Tukey第一次在學術界展開數據分析。而自從2008年DJ Patil在領英提出“數據科學家”這個名詞時,數據科學家才真正地作為職業(yè)開始起步,逐漸成為“21世紀最性感的職業(yè)”。
據領英《2020年新興工作報告》顯示,過去5年招聘需求增速最快的職業(yè)中,數據科學家位列第三。
在數據的總量完成了史無前例的增長、新基建等政策不斷加持的今天,我們已經正式進入了一個“數據密集型”的時代。面對用戶在網上產生的源源不斷向四處流動的數據,公司可以通過這些數據去了解用戶的需求,為用戶提供更好的產品,推動公司增長,因此數據團隊對于互聯網企業(yè)的重要性日益增加,數據科學家的定位也隨之在不斷產生改變。
在LinkedIn(領英)全球數據科學負責人許亞看來,數據科學團隊的整體趨勢更加走向了專業(yè)化,他們的職責不再是建立數據基礎設施或平臺,而是去使用數據科學和工程來最大化數據的價值。那么從團隊運作方式、工作衡量標準和社會責任等角度,數據科學家的工作在“新常態(tài)”下發(fā)生了怎樣的轉變?如何讓數據的價值最大化?
數據科學團隊更加“工程化”和“專業(yè)化”
領英的數據團隊起源于對增長和商業(yè)表現的需求。在進入互聯網的時代、大量的用戶數據產生后,領英推出了“你可能認識的人(People You May Know)”功能,推薦潛在可能認識的用戶,這個功能關鍵性地推動了領英早期的病毒式增長,隨后推出的“職位推薦”等功能也幫助了領英核心的商業(yè)表現。因此領英產生了更多的數據需求和對數據科學的重視,從而建立了數據科學團隊,來驅動領英早期商業(yè)表現和用戶增長。
從2008年到現在,數據科學家的定位也產生了一系列的變化。
在早期的時候,在數據科學領域工作的人都是“萬能手”,能身兼多個任務,比如建立基礎設施、研發(fā)數據儲存方式、編寫算法等等。隨著這個領域越來越成熟,數據量越來越大,許亞認為,數據團隊需要變得更加工程化和專業(yè)化,并通過“嵌入式工作”和“中心化管理”,去應對幾十萬、幾千萬的用戶增長。
許亞介紹,目前領英的數據科學團隊分離出了底層架構人員,根據不同的專業(yè)領域設立了三個工作方向,包括可以很有效地建立起數據管道(Data Pipeline)和數據流(Data Flow)的工程專家;負責進行A/B測試、預測、打造差分隱私的算法專家;以及有很強的業(yè)務屬性,將數據見解和公司戰(zhàn)略結合起來的業(yè)務專家。
這三個領域的專家共同構成數據科學團隊,并與產品、市場等團隊建立起緊密的“嵌入式工作”模式,推動產品的優(yōu)化、基礎設施運維和市場戰(zhàn)略決策,將數據廣泛地用在了領英各個渠道。首先是產品,秉承“用戶第一”的價值原則,領英的每一個產品細節(jié)都由數據充分證實,包括信息流、你可能感興趣的人等功能,或者怎么樣吸引新的用戶來并且提供優(yōu)秀的產品和UI體驗,都是數據來推動。
除了產品,領英還會通過數據科學來優(yōu)化公司基礎設施的運行和維護。領英每年投資數百萬在數據儲存空間等硬件設施上面,怎樣充分利用這些硬件設施是意義重大的問題。領英的數據科學團隊會通過數據分析和算法去衡量工程架構的建設是否有效率,更好地做時間規(guī)劃,讓硬件和GPU發(fā)揮更大的價值,有助于提升公司整體的效率。
此外,數據科學家還可以通過數據幫助企業(yè)明確戰(zhàn)略方向,在哪個方面去投資,或者決定下一步的產品或者市場意向。例如通過用戶數據了解目標用戶的特征,從而針對這樣的群體把他們吸引到領英平臺上;或者了解哪些用戶更容易去購買領英的產品并且成為領英的客戶,從而賦能公司的商業(yè)決策和成果,對凈利潤造成影響。
如何衡量數據科學團隊的成果?
由于不同的數據科學家會有不同的側重方向,比如產品、市場,或者工程,工作的KPI有時候難以進行標準和量化。許亞接手領英數據團隊之后,做的第一件事情就是建立了三個成功的衡量指標,到現在都是合理有效的:
一是工作效率和數據易得性。以前的數據科學家特別喜歡嘗試最新最難的問題,但沒有維護和迭代習慣?,F在許亞認為,如果建立了一些衡量標準、數據模型或者算法,就應該確保它一直可使用。許亞也鼓勵數據科學家們減少重復性工作,并提供自動化的工具和平臺,讓每個數據科學家都能更有效率地去挖掘數據價值。
二是戰(zhàn)略化思維。數據科學團隊在公司里的職責之一是用數據去指導、指引公司的一些策略方向,甚至和公司的高層直接溝通。許亞認為在疫情后,用戶的行為多少會發(fā)生一些不可逆轉的改變,數據可以幫助團隊更好地去學習用戶行為變化,了解用戶是如何在領英上獲得價值,從而在戰(zhàn)略上指引公司對哪些領域進行重點投資。
三是直接商業(yè)影響。數據團隊的成果是跟這個公司的凈利潤是有直接作用的,數據科學家需要去衡量他們的工作怎么樣去影響公司的凈利潤,如何對公司的商業(yè)目標產生積極影響。
許亞以最佳產品優(yōu)化利器A/B測試應用舉例:A/B測試是數據驅動的常見產品功能優(yōu)化手段,將用戶分為對照組和實驗組,對照組使用現有的功能,實驗組測試新功能,從而判斷新功能是否應該上線。許亞介紹,在領英,基本上你可以看得到的任何產品改變,都是經過反復A/B測試產生的,比如搜索欄、搜索算法、導航欄,甚至是APP的字號和字體。所以領英不選擇用直覺來進行假設,而是用A/B測試來判斷到底大眾喜不喜歡新推出的產品功能,讓一切都通過數據來說話。一個產品開發(fā)生命周期內A/B測試的示例例如在使用APP的過程中展示的頁面內容數量就涉及到產品的平衡與取舍。每次加載可以展示20個、30個、也可以100個內容在頁面上,但展示的數據越多,加載的時間就越長,用戶上下滑動App時就需要等候;展示的數據越少,用戶就需要頻繁刷新,影響到用戶體驗。所以領英數據團隊會根據A/B測試來決定到底是應該放多少個。另外,領英要不要建立或者關閉一個數據中心也通過A/B測試決定,因為用戶和數據中心的距離對于傳輸速度有很大的關系,選擇不同的數據中心對于用戶的請求的處理有很大的影響。A/B測試也并不是僅由數據科學團隊來主導的,不同的團隊在決定是否做A/B測試的過程也同樣激發(fā)了大量的創(chuàng)新。
許亞解釋道,領英每天大概有100個新的試驗進行,數據科學團隊沒有精力去參加公司的所有試驗項目,會更加投入在重要的試驗研究和分析上。借助公司提供的自動化工具和A/B測試平臺,其他團隊可以解決大部分的實驗設計、應用、分析上的問題,從而自主地產生創(chuàng)新的想法,并通過A/B測試來確認是否正確,避免一些主觀爭議。這樣科學的決策機制、開放的實驗文化和數據文化,讓公司里的每個團隊都能放心大膽地去構想并且驗證創(chuàng)新的想法。
新的挑戰(zhàn):促進公平
當技術手段和基礎設施從數據中挖掘出更多的價值之時,也帶來了全新的挑戰(zhàn)與問題:公平性。
公平很難有一個準確的定義,但領英的愿景是為全球勞動市場里的每一位創(chuàng)造經濟機會,希望有著同樣才能的兩個人應該獲得相等的機會。為了實現這一點,領英在開發(fā)產品和功能的時候會很重視可量化的指標,確保領英的產品對于每個用戶群體都會帶來積極的影響。如果只看平均下來的效果,可能會只對一部分人有益,而給另一部分人帶來不公平的因素。
領英是如何構建“公平”的
特別是在疫情“新常態(tài)”下,職場人獲得機會的難度加大,社會不平等帶來的挑戰(zhàn)也隨之加劇。為此領英開展了一個稱為“Project Every Member”的項目,這個項目能讓數據科學家們借助A/B測試和算法來準確地評估和優(yōu)化每一個新產品,從而縮小人脈差距,確保每個人都能夠獲得公平地去發(fā)現和連接機會。領英也在近期開源了Project Every Member里有關Apache Spark的一段代碼,從而幫助更多公司準確地衡量產品帶來的影響,打造更加富有公平性的產品。
“促進公平的重點不僅僅在于算法,而在于產品設計的方方面面?!痹S亞說?!按送猓覀円步洺Hピu估現在平臺上面是否有一些導致不公平的漏洞。比如說招聘者用我們的產品去招人,搜索的結果下面出來的都是男性,這會導致女性失去了這個工作機會。所以一年前我們推出了Representative Ranking,通過機器學習模型對候選集進行重新排序,使搜索結果能夠代表所有的潛在候選人,以確保減少偏見,獲得多樣化的人才?!?/span>
近兩年來,領英的數據科學團隊迅速發(fā)展并逐漸成熟,人數規(guī)模擴張了一倍,從150人增加到了300多人,遍布世界各地。在中國,領英同樣有一支精良的數據科學團隊,服務本地市場。在疫情帶來的不確定之下,領英通過數據發(fā)現平臺上用戶的內容類型和比例都嚴重的受到了影響,比如疫情對剛入職場的人影響很大,對女性的影響也比對男性的更大。
許亞說,在這個過程中,你可以感受最大化數據價值的強大能力,感受到數據的責任所在,從而更好地幫助這些受影響的人,這也是數據科學家這份工作最有意義的地方。