擁抱“Zero ETL”未來，亞馬遜云科技助力樂城堡加速釋放數(shù)據(jù)價(jià)值

獲得全球三千五百多萬用戶的認(rèn)可的移動(dòng)游戲企業(yè)樂城堡希望通過數(shù)據(jù)分析為游戲業(yè)務(wù)提供更好的決策支撐。

樂城堡在亞馬遜云科技上利用Amazon Redshift等服務(wù)構(gòu)建屬于自己的云上游戲數(shù)據(jù)分析平臺，實(shí)現(xiàn)復(fù)雜查詢，保證游戲運(yùn)營人員能快速、近實(shí)時(shí)的獲取所需的數(shù)據(jù)與統(tǒng)計(jì)信息，實(shí)現(xiàn)產(chǎn)品的持續(xù)優(yōu)化和更新，提升玩家體驗(yàn)。樂城堡所采用的亞馬遜云科技服務(wù)包括Amazon Redshift、Amazon MSK、Amazon S3、Amazon CloudFront、Amazon SageMaker等。

業(yè)務(wù)需求與挑戰(zhàn)

北京樂城堡科技有限公司（以下簡稱“樂城堡”）致力于為全球用戶提供精品移動(dòng)游戲的公司。北京樂城堡科技公司旗下產(chǎn)品已獲得全球三千五百多萬用戶的認(rèn)可，旗下產(chǎn)品愛麗絲與詞幻境（Alice in Wordland）獲得蘋果商店全球三千多次推薦。

在游戲業(yè)務(wù)運(yùn)營中，樂城堡秉承“好的產(chǎn)品一定是用戶體驗(yàn)優(yōu)先，創(chuàng)新應(yīng)來源于對用戶的洞察，細(xì)節(jié)決定成敗，精品需要精心打磨才能造就?！钡漠a(chǎn)品理念，不斷創(chuàng)新，為玩家提供優(yōu)秀的智能手機(jī)游戲產(chǎn)品。要打造好的游戲作品，需要更好的了解玩家的喜好，因此游戲數(shù)據(jù)分析對于樂城堡來說至關(guān)重要。在過去的業(yè)務(wù)發(fā)展中，不同的游戲項(xiàng)目團(tuán)隊(duì)采用團(tuán)隊(duì)自己進(jìn)行數(shù)據(jù)分析的方式，隨著業(yè)務(wù)的不斷發(fā)展，企業(yè)需要一種更好的方式來獲得全局能見度。

“我們的游戲業(yè)務(wù)中存在各種資源類型，每天會產(chǎn)生大量的數(shù)據(jù)，一段周期之后，數(shù)據(jù)的規(guī)模對于項(xiàng)目組來說就變成了一大挑戰(zhàn)，從觀測的角度來說我們更希望在企業(yè)中設(shè)置集中的分析平臺，去為各個(gè)游戲項(xiàng)目提供服務(wù)。”樂城堡的數(shù)據(jù)總監(jiān)李明說，“在構(gòu)建企業(yè)自己的數(shù)據(jù)平臺時(shí)，我們最為關(guān)心的是大數(shù)據(jù)量下的技術(shù)靈活度以及相應(yīng)的人力成本與后期運(yùn)維成本的控制。雖然市場上有一些第三方的商業(yè)數(shù)據(jù)工具解決方案，但他們能夠提供的分析指標(biāo)相對固定，很難滿足我們游戲業(yè)務(wù)的需求，并且面對大量的數(shù)據(jù)傳輸，也難以達(dá)到實(shí)時(shí)分析的效果。在數(shù)據(jù)安全性可控性和業(yè)務(wù)需求上面平衡之后，我們決定在云上構(gòu)建自己的游戲數(shù)據(jù)分析平臺?！?/p>

為什么選擇亞馬遜云科技

（Amazon Web Services）

通過對不同解決方案提供商的評估，樂城堡最終選擇了亞馬遜云科技，基于Amazon Redshift等服務(wù)構(gòu)建屬于自己的云上游戲數(shù)據(jù)分析平臺。在樂城堡看來，亞馬遜云科技的數(shù)據(jù)倉庫與分析解決方案具有以下優(yōu)勢：

·面向行業(yè)需求專門構(gòu)建并且經(jīng)過大量用戶驗(yàn)證

亞馬遜云科技面向游戲行業(yè)提供了針對游戲的分析和大數(shù)據(jù)應(yīng)用解決方案，能夠幫助企業(yè)更好的理解玩家、發(fā)展產(chǎn)品和提升玩家的參與度與保留率，并讓企業(yè)做出更好的設(shè)計(jì)決策。這些解決方案不僅被眾多的知名游戲工作室所應(yīng)用和驗(yàn)證，同時(shí)也提供了面向全球市場的數(shù)據(jù)安全性與合規(guī)控制，幫助游戲企業(yè)更好的保護(hù)玩家數(shù)據(jù)。“我們的游戲業(yè)務(wù)運(yùn)行在亞馬遜云科技上，包括通過Amazon CloudFront處理訪問日志，選擇在亞馬遜云科技上實(shí)現(xiàn)游戲業(yè)務(wù)的數(shù)據(jù)分析，不僅能夠獲得更低的延遲，消除大規(guī)模的數(shù)據(jù)傳輸和遷移工作，也能夠讓我們以彈性的方式存儲和處理各類數(shù)據(jù)，降低數(shù)據(jù)分析中的構(gòu)建和運(yùn)營開銷?！崩蠲髡f。

·提供易于集成的托管云服務(wù)和實(shí)時(shí)化的分析能力

游戲行業(yè)中數(shù)據(jù)分析對于樂城堡這樣的游戲公司的重要性不言而喻，因此企業(yè)需要兼顧數(shù)據(jù)的準(zhǔn)確性和實(shí)時(shí)性，尤其針對用戶行為的分析。

樂城堡采用Amazon Redshift產(chǎn)品作為企業(yè)的核心數(shù)據(jù)倉庫服務(wù)，通過將用戶行為的埋點(diǎn)數(shù)據(jù)寫入到Amazon Managed Streaming for Apache Kafka（MSK），結(jié)合Amazon Redshift內(nèi)置的Streaming Ingestion技術(shù)能夠?qū)?shù)據(jù)以準(zhǔn)實(shí)時(shí)方式的寫入到Amazon Redshift，并在此基礎(chǔ)之上開展后續(xù)所需的數(shù)據(jù)分析。Amazon Managed Streaming for Apache Kafka（MSK）利用完全托管、高度可用的Apache Kafka服務(wù)安全地流式傳輸數(shù)據(jù)，是完全托管，無需擔(dān)心基礎(chǔ)設(shè)施的部署、配置和維護(hù)。

它消除了運(yùn)營開銷，包括預(yù)置、配置和維護(hù)高度可用的Apache Kafka和Kafka Connect集群的開銷。Amazon MSK使得利用完全托管的Apache Kafka實(shí)時(shí)攝取和處理流數(shù)據(jù)變得很簡單?！斑@種構(gòu)建方式簡化了數(shù)據(jù)分析團(tuán)隊(duì)的業(yè)務(wù)復(fù)雜度，并且在實(shí)時(shí)性和效率方面上有大幅的提升，幫助我們更快的了解用戶的行為，更及時(shí)的調(diào)整我們業(yè)務(wù)策略，真正的實(shí)現(xiàn)讓數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)?！崩蠲髡劦健?/p>

·廣泛的數(shù)據(jù)與分析服務(wù)可滿足當(dāng)前與未來的業(yè)務(wù)需求

亞馬遜云科技提供了從數(shù)據(jù)存儲、數(shù)據(jù)湖、大數(shù)據(jù)分析、流式分析、商業(yè)智能與機(jī)器學(xué)習(xí)在內(nèi)的一系列廣泛的云上托管服務(wù)，能夠滿足不同發(fā)展階段的企業(yè)對于數(shù)據(jù)分析與利用的需求。“我們建立企業(yè)統(tǒng)一分析平臺的初衷之一是消除各項(xiàng)目組自建數(shù)據(jù)庫和自行分析給IT環(huán)境和業(yè)務(wù)造成的復(fù)雜度，亞馬遜云科技的托管服務(wù)讓我們可以輕松的按照業(yè)務(wù)的需求進(jìn)行靈活的組合和構(gòu)建，在短時(shí)間內(nèi)打造屬于自己的數(shù)據(jù)倉庫和分析能力，因此我們可以更多的去關(guān)注于分析的策略和規(guī)則，而不是技術(shù)的運(yùn)維管理?！崩蠲髡劦?。

北京樂城堡科技有限公司數(shù)據(jù)總監(jiān)李明表示：“亞馬遜云科技的托管服務(wù)讓我們可以輕松的按照業(yè)務(wù)的需求進(jìn)行靈活的組合和構(gòu)建，在短時(shí)間內(nèi)打造屬于自己的數(shù)據(jù)倉庫和分析能力，因此我們可以更多的去關(guān)注于分析的策略和規(guī)則，而不是技術(shù)的運(yùn)維管理。另外，通過Amazon Redshift結(jié)合Amazon MSK的流數(shù)據(jù)實(shí)時(shí)攝入功能，我們能夠?qū)?shù)據(jù)攝入延遲從分鐘級別降低到秒級別，大大加快了業(yè)務(wù)分析的時(shí)效性?！?/p>

獲得的成效

通過采用亞馬遜云科技面向游戲行業(yè)的大數(shù)據(jù)分析解決方案，樂城堡不僅成功的應(yīng)對了業(yè)務(wù)運(yùn)營中的各類數(shù)據(jù)分析挑戰(zhàn)，也讓企業(yè)獲得了多方面的成效：

首先是將之前分散在各個(gè)項(xiàng)目組的數(shù)據(jù)匯總，在企業(yè)內(nèi)構(gòu)建服務(wù)多游戲產(chǎn)品的統(tǒng)一數(shù)據(jù)分析平臺，為企業(yè)提供數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)運(yùn)營引擎。亞馬遜云科技的眾多服務(wù)提供了“開箱即用”的方案以及與開源技術(shù)相一致的使用體驗(yàn)，樂城堡的數(shù)據(jù)分析團(tuán)隊(duì)可以充分利用這些優(yōu)勢在2個(gè)月的時(shí)間內(nèi)完成各項(xiàng)目組的數(shù)據(jù)整合、遷移與數(shù)據(jù)倉庫的構(gòu)建，并根據(jù)不同業(yè)務(wù)的需求設(shè)計(jì)定制化的分析指標(biāo)，讓游戲項(xiàng)目組成員從復(fù)雜的數(shù)據(jù)分析設(shè)計(jì)和操作中釋放出來，轉(zhuǎn)變?yōu)榉治鼋Y(jié)果的使用者，從而讓有限的人力資源專注于游戲產(chǎn)品的創(chuàng)新。

其次讓企業(yè)更有信心的應(yīng)對玩家數(shù)量持續(xù)增長所帶來的分析難題?！拔覀冇螒驑I(yè)務(wù)所產(chǎn)生的數(shù)據(jù)量一直在增長，并且業(yè)務(wù)需要對一定時(shí)間的歷史數(shù)據(jù)進(jìn)行觀測，結(jié)合DAU、日志量、時(shí)間范圍等因素，僅玩家分析一個(gè)場景就需要面對數(shù)萬條記錄，以前無論是自建還是采用第三方的SaaS化方案效率都是極低的?！?/p>

李明說，“Amazon MSK作為全托管、高可用的Apache Kafka服務(wù)，幫助我們快速構(gòu)建流式傳輸?shù)墓艿溃瑢⒅岸说蕉说臄?shù)據(jù)傳輸延遲從分鐘級提升到秒級，使得實(shí)時(shí)攝取和處理流數(shù)據(jù)變得簡單高效。Amazon Redshift作為企業(yè)級數(shù)據(jù)倉庫，能夠容納規(guī)模至PB級別的數(shù)據(jù)，實(shí)現(xiàn)復(fù)雜查詢，保證游戲運(yùn)營人員能快速獲取所需的數(shù)據(jù)與統(tǒng)計(jì)信息，無論是規(guī)模還是并發(fā)性能，對于業(yè)務(wù)的持續(xù)增長我們都能保持信心?！?/p>

此外，亞馬遜云科技各服務(wù)之間的良好集成度和互操作性也讓樂城堡可以更好的降低數(shù)據(jù)分析的成本。與自建Hadoop集群與構(gòu)建HDFS存儲相比，采用Amazon Redshift與Amazon S3直連的方式可以簡化企業(yè)在數(shù)據(jù)加工和存儲過程中的架構(gòu)復(fù)雜度并實(shí)現(xiàn)更好的成本效益，數(shù)據(jù)工程師可以使用熟悉的ANSI SQL直接在Amazon S3中查詢開放文件格式，并可將各類數(shù)據(jù)輕松導(dǎo)出至Amazon S3數(shù)據(jù)湖做進(jìn)行進(jìn)一步的加工利用。根據(jù)樂城堡的測算，在同樣數(shù)據(jù)體量下，采用Amazon S3為數(shù)據(jù)倉庫提供存儲支持更具經(jīng)濟(jì)優(yōu)勢，能夠幫助企業(yè)將成本控制到自建方式的十分之一。

展望未來，樂城堡將繼續(xù)在游戲業(yè)務(wù)運(yùn)營和數(shù)據(jù)分析場景中與亞馬遜云科技保持密切的合作，以更好的挖掘數(shù)據(jù)所隱藏的價(jià)值。目前公司已在業(yè)務(wù)中應(yīng)用Amazon Redshift ML，讓大數(shù)據(jù)團(tuán)隊(duì)的開發(fā)人員能夠在數(shù)據(jù)倉庫中使用熟悉的SQL命令以更加輕松的方式來創(chuàng)建、訓(xùn)練和應(yīng)用機(jī)器學(xué)習(xí)模型，樂城堡也將在人工智能與機(jī)器學(xué)習(xí)的應(yīng)用中整合Amazon SageMaker提供的托管機(jī)器學(xué)習(xí)能力完成模型訓(xùn)練，幫助企業(yè)實(shí)現(xiàn)更加精細(xì)化的業(yè)務(wù)運(yùn)營。

關(guān)于樂城堡

北京樂城堡科技有限公司是一家全球化的移動(dòng)游戲開發(fā)公司，成立于2014年，專注于開發(fā)休閑游戲，服務(wù)千萬級的全球用戶。我們的夢想是創(chuàng)造出被全球各類人群喜愛和記住的優(yōu)秀游戲。我們秉持著"用心做好游戲，技術(shù)引領(lǐng)未來"的理念，這個(gè)理念深深地影響了我們的企業(yè)文化和工作方式。

樂城堡的核心價(jià)值觀包括自主性、工匠精神、責(zé)任感和成長。自主性讓我們在真正重要的事情上越來越優(yōu)秀。工匠精神，即對技能的磨練和執(zhí)著，是成功的秘訣，也是贏得他人尊重的關(guān)鍵。我們相信，在長期之中，我們塑造了我們的游戲，我們的團(tuán)隊(duì)，以及我們自己。成長意味著創(chuàng)造游戲的過程是一個(gè)永無止境的旅程，我們在其中不斷學(xué)習(xí)并向前發(fā)展。

我們認(rèn)識到游戲數(shù)據(jù)分析的重要性，通過深度理解玩家行為、游戲性能和市場趨勢，我們可以持續(xù)優(yōu)化我們的產(chǎn)品，提高用戶體驗(yàn)，并根據(jù)數(shù)據(jù)反饋調(diào)整我們的戰(zhàn)略。