從引進到自研再到開源融合，這10年騰訊大數(shù)據(jù)平臺經(jīng)歷了什么

在空中3000米處，一架民用飛機拖著煙翼，在空中畫出兩條黑線。不遠處，有13名乘客從機艙中喪生。

此刻，在不遠的地方，鐵甲的智能助手老賈通過大數(shù)據(jù)算法提出了數(shù)百種解決方案，并一一淘汰。

突然，裝甲開始剎車，一個人開始在空中飛舞。眨眼間，所有13名乘客都被救出，整個過程僅30秒。

在《鋼鐵俠3》中，空難救援場景很經(jīng)典。鋼鐵人通過授權(quán)AI，使用大數(shù)據(jù)，云計算和其他技術(shù)，可以在1/30秒內(nèi)做出準確的決策。

電影中顯示的極端情況引起了我們對這種技術(shù)的好奇。在現(xiàn)實生活中，大數(shù)據(jù)，云計算和其他技術(shù)的迭代，集成和著陸會影響上層應(yīng)用程序的各個方面（企業(yè)方面）。

從入門到自我研究再到開源集成，過去十年來騰訊的大數(shù)據(jù)平臺經(jīng)歷了什么

10月6日，雷鋒受邀參加了騰訊舉辦的技術(shù)開發(fā)者大會。在此期間，騰訊云副總裁，騰訊數(shù)據(jù)平臺總經(jīng)理蔣潔分享了騰訊大數(shù)據(jù)平臺的發(fā)展歷程，騰訊大數(shù)據(jù)平臺的發(fā)展方向以及人工智能與云技術(shù)的融合。

每日數(shù)據(jù)計算量超過30萬億

騰訊業(yè)務(wù)部門資源與大數(shù)據(jù)平臺機器資源的結(jié)合形成了大數(shù)據(jù)全平臺計算能力。

蔣潔透露，到目前為止，計算能力資源池已達到20萬多個單位，每天計算的實時數(shù)據(jù)超過30萬億條。但是，一天之內(nèi)沒有取得這樣的成就。在過去的十年中，騰訊的大數(shù)據(jù)平臺經(jīng)歷了三個階段：

1.離線計算

2009年1月，騰訊建立了首個Hadoop集群并開始擴展數(shù)據(jù)。

這是Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)結(jié)構(gòu)，它實現(xiàn)了分布式文件系統(tǒng)（HDFS）。

HDFS具有較高的容錯能力，適合在低成本硬件上部署；它提供高吞吐量以訪問應(yīng)用程序數(shù)據(jù)，適用于具有大數(shù)據(jù)集的應(yīng)用程序。

HDFS為海量數(shù)據(jù)提供存儲，而MapReduce為海量數(shù)據(jù)提供計算能力。

2.實時計算

2012年，隨著移動互聯(lián)網(wǎng)的爆發(fā)，騰訊的大數(shù)據(jù)平臺進入了第二階段，從Hadoop到風(fēng)靡一時的暴風(fēng)雨。

該平臺在吸收開源技術(shù)的基礎(chǔ)上，根據(jù)業(yè)務(wù)需求進行了重寫。在此期間，騰訊開始探索流計算，二級采集系統(tǒng)的構(gòu)建，并構(gòu)建企業(yè)級實時數(shù)據(jù)分析系統(tǒng)。

大數(shù)據(jù)平臺的在線分析和實時計算功能被廣泛應(yīng)用于實時報告，實時查詢和實時監(jiān)控等場景。

3.機器計算

自2015年以來，為了滿足業(yè)務(wù)數(shù)據(jù)挖掘的需求，機器學(xué)習(xí)平臺的主體建設(shè)已經(jīng)開始。從數(shù)據(jù)分析到數(shù)據(jù)挖掘的轉(zhuǎn)變是大數(shù)據(jù)平臺“智能”的體現(xiàn)。

2016年，騰訊自主研發(fā)的機器學(xué)習(xí)平臺Angel專注于復(fù)雜的計算場景，可以進行大規(guī)模的數(shù)據(jù)培訓(xùn)，支持內(nèi)容推薦，廣告推薦等AI應(yīng)用場景。

姜潔表示，騰訊大數(shù)據(jù)平臺的開發(fā)是一個從引入到自學(xué)，從離線到實時，從分析，計算再到人工智能的全方位演進過程。借助正式的開源資源管理平臺核心tke和分布式數(shù)據(jù)庫tbase，與開發(fā)和計算平臺TDW，全棧機器學(xué)習(xí)平臺angel和開源實時數(shù)據(jù)采集平臺tubemq一起形成了騰訊大數(shù)據(jù)開源陣營。事實證明，騰訊大數(shù)據(jù)平臺具有自主研發(fā)能力，已積極推廣開源并回饋行業(yè)。

大數(shù)據(jù)平臺的新方向：融合在談到發(fā)展方向時，蔣潔強調(diào)了“整合”這個詞。他認為，騰訊大數(shù)據(jù)平臺正在朝著以下三個特征進行迭代：

1.批量流集成，從批量計算和實時計算分離到SQL級別的集成，再到底層計算引擎級別和存儲級別的多方面技術(shù)集成；

2.ABC融合，人工智能，大數(shù)據(jù)和云的集成應(yīng)該綁定在一起。騰訊開發(fā)的機器學(xué)習(xí)平臺Angel就是一個整合案例。Angel已經(jīng)實現(xiàn)了從預(yù)處理到數(shù)據(jù)培訓(xùn)的集成。當(dāng)整個系統(tǒng)可以遷移到云中時，將實現(xiàn)ABC的真正集成；

3。Data Lake實現(xiàn)了跨IDC，跨平臺和跨異構(gòu)數(shù)據(jù)源的數(shù)據(jù)共享，并通過聯(lián)合學(xué)習(xí)解決了數(shù)據(jù)共享中的數(shù)據(jù)安全性和隱私性問題。

技術(shù)的發(fā)展并非總是一帆風(fēng)順。蔣潔說，在大數(shù)據(jù)平臺開發(fā)階段，漏洞還很多。

在資源調(diào)度領(lǐng)域，本地Hadoop的承載規(guī)模很小，這意味著需要自行開發(fā)的調(diào)度程序。通過自行開發(fā)的調(diào)度程序，騰訊在2014年使Hadoop單個集群的規(guī)模達到8800，現(xiàn)在已經(jīng)超過40000。在解決了離線規(guī)模問題之后，騰訊的大數(shù)據(jù)團隊再次面臨著在線資源問題。他們需要實現(xiàn)在線和離線平臺的混合部署。此過程需要更好的資源隔離，并且容器需要具有與虛擬機相同的隔離功能。同時，應(yīng)該獲得在線服務(wù)的優(yōu)先級調(diào)度能力，以提高在線資源比例。

器學(xué)習(xí)平臺來解決該問題。從一開始，天使就支持10億個維度，并逐漸增加到1000億個。目前，天使平臺的培訓(xùn)規(guī)模已從1000億擴大到1萬億。

在過去的十年中，只有騰訊的大數(shù)據(jù)團隊知道漏洞的嚴重程度。同時，它們自2014年以來一直是開源的，希望為類似的制造商和開發(fā)商提供可行的解決方案。

不要踩到你踩的洞

蔣潔表示，騰訊大數(shù)據(jù)平臺的基礎(chǔ)技術(shù)來自開源。通過開發(fā)，迭代和開源回饋社區(qū)是最好的選擇。

目前，騰訊云已經(jīng)具備了對外開放的能力，包括存儲網(wǎng)絡(luò)，數(shù)據(jù)庫，整個大數(shù)據(jù)平臺，機器學(xué)習(xí)平臺以及為SAAS和語音NLP服務(wù)的上層系統(tǒng)。通過云上的產(chǎn)品，企業(yè)無需專業(yè)的大數(shù)據(jù)和AI人才即可分析大數(shù)據(jù)。

雷鋒了解到，2014年，騰訊的第一代開發(fā)和計算平臺TDW是開源的。到2017年，第三代計算平臺angel也已經(jīng)開源，并且該平臺已捐贈給Linux基金會。到今年9月，騰訊開放了實時數(shù)據(jù)采集平臺tubemq的源代碼，并將其捐贈給Apache基金會。

會議當(dāng)天，姜潔宣布資源管理容器平臺tke和分布式數(shù)據(jù)庫tbase是開源的。隨著大數(shù)據(jù)領(lǐng)域開源的逐步加速，騰訊正在成為中國大數(shù)據(jù)領(lǐng)域最全面的開源制造商之一。