擁抱“Zero ETL”未來，亞馬遜云科技助力樂城堡加速釋放數(shù)據(jù)價值

獲得全球三千五百多萬用戶的認可的移動游戲企業(yè)樂城堡希望通過數(shù)據(jù)分析為游戲業(yè)務(wù)提供更好的決策支撐。

樂城堡在亞馬遜云科技上利用Amazon Redshift等服務(wù)構(gòu)建屬于自己的云上游戲數(shù)據(jù)分析平臺，實現(xiàn)復(fù)雜查詢，保證游戲運營人員能快速、近實時的獲取所需的數(shù)據(jù)與統(tǒng)計信息，實現(xiàn)產(chǎn)品的持續(xù)優(yōu)化和更新，提升玩家體驗。樂城堡所采用的亞馬遜云科技服務(wù)包括Amazon Redshift、Amazon MSK、Amazon S3、Amazon CloudFront、Amazon SageMaker等。

業(yè)務(wù)需求與挑戰(zhàn)

北京樂城堡科技有限公司（以下簡稱“樂城堡”）致力于為全球用戶提供精品移動游戲的公司。北京樂城堡科技公司旗下產(chǎn)品已獲得全球三千五百多萬用戶的認可，旗下產(chǎn)品愛麗絲與詞幻境（Alice in Wordland）獲得蘋果商店全球三千多次推薦。

在游戲業(yè)務(wù)運營中，樂城堡秉承“好的產(chǎn)品一定是用戶體驗優(yōu)先，創(chuàng)新應(yīng)來源于對用戶的洞察，細節(jié)決定成敗，精品需要精心打磨才能造就?！钡漠a(chǎn)品理念，不斷創(chuàng)新，為玩家提供優(yōu)秀的智能手機游戲產(chǎn)品。要打造好的游戲作品，需要更好的了解玩家的喜好，因此游戲數(shù)據(jù)分析對于樂城堡來說至關(guān)重要。在過去的業(yè)務(wù)發(fā)展中，不同的游戲項目團隊采用團隊自己進行數(shù)據(jù)分析的方式，隨著業(yè)務(wù)的不斷發(fā)展，企業(yè)需要一種更好的方式來獲得全局能見度。

“我們的游戲業(yè)務(wù)中存在各種資源類型，每天會產(chǎn)生大量的數(shù)據(jù)，一段周期之后，數(shù)據(jù)的規(guī)模對于項目組來說就變成了一大挑戰(zhàn)，從觀測的角度來說我們更希望在企業(yè)中設(shè)置集中的分析平臺，去為各個游戲項目提供服務(wù)?！睒烦潜さ臄?shù)據(jù)總監(jiān)李明說，“在構(gòu)建企業(yè)自己的數(shù)據(jù)平臺時，我們最為關(guān)心的是大數(shù)據(jù)量下的技術(shù)靈活度以及相應(yīng)的人力成本與后期運維成本的控制。雖然市場上有一些第三方的商業(yè)數(shù)據(jù)工具解決方案，但他們能夠提供的分析指標相對固定，很難滿足我們游戲業(yè)務(wù)的需求，并且面對大量的數(shù)據(jù)傳輸，也難以達到實時分析的效果。在數(shù)據(jù)安全性可控性和業(yè)務(wù)需求上面平衡之后，我們決定在云上構(gòu)建自己的游戲數(shù)據(jù)分析平臺?！?/p>

為什么選擇亞馬遜云科技

（Amazon Web Services）

通過對不同解決方案提供商的評估，樂城堡最終選擇了亞馬遜云科技，基于Amazon Redshift等服務(wù)構(gòu)建屬于自己的云上游戲數(shù)據(jù)分析平臺。在樂城堡看來，亞馬遜云科技的數(shù)據(jù)倉庫與分析解決方案具有以下優(yōu)勢：

·面向行業(yè)需求專門構(gòu)建并且經(jīng)過大量用戶驗證

亞馬遜云科技面向游戲行業(yè)提供了針對游戲的分析和大數(shù)據(jù)應(yīng)用解決方案，能夠幫助企業(yè)更好的理解玩家、發(fā)展產(chǎn)品和提升玩家的參與度與保留率，并讓企業(yè)做出更好的設(shè)計決策。這些解決方案不僅被眾多的知名游戲工作室所應(yīng)用和驗證，同時也提供了面向全球市場的數(shù)據(jù)安全性與合規(guī)控制，幫助游戲企業(yè)更好的保護玩家數(shù)據(jù)。“我們的游戲業(yè)務(wù)運行在亞馬遜云科技上，包括通過Amazon CloudFront處理訪問日志，選擇在亞馬遜云科技上實現(xiàn)游戲業(yè)務(wù)的數(shù)據(jù)分析，不僅能夠獲得更低的延遲，消除大規(guī)模的數(shù)據(jù)傳輸和遷移工作，也能夠讓我們以彈性的方式存儲和處理各類數(shù)據(jù)，降低數(shù)據(jù)分析中的構(gòu)建和運營開銷?！崩蠲髡f。

·提供易于集成的托管云服務(wù)和實時化的分析能力

游戲行業(yè)中數(shù)據(jù)分析對于樂城堡這樣的游戲公司的重要性不言而喻，因此企業(yè)需要兼顧數(shù)據(jù)的準確性和實時性，尤其針對用戶行為的分析。

樂城堡采用Amazon Redshift產(chǎn)品作為企業(yè)的核心數(shù)據(jù)倉庫服務(wù)，通過將用戶行為的埋點數(shù)據(jù)寫入到Amazon Managed Streaming for Apache Kafka（MSK），結(jié)合Amazon Redshift內(nèi)置的Streaming Ingestion技術(shù)能夠?qū)?shù)據(jù)以準實時方式的寫入到Amazon Redshift，并在此基礎(chǔ)之上開展后續(xù)所需的數(shù)據(jù)分析。Amazon Managed Streaming for Apache Kafka（MSK）利用完全托管、高度可用的Apache Kafka服務(wù)安全地流式傳輸數(shù)據(jù)，是完全托管，無需擔心基礎(chǔ)設(shè)施的部署、配置和維護。

它消除了運營開銷，包括預(yù)置、配置和維護高度可用的Apache Kafka和Kafka Connect集群的開銷。Amazon MSK使得利用完全托管的Apache Kafka實時攝取和處理流數(shù)據(jù)變得很簡單?！斑@種構(gòu)建方式簡化了數(shù)據(jù)分析團隊的業(yè)務(wù)復(fù)雜度，并且在實時性和效率方面上有大幅的提升，幫助我們更快的了解用戶的行為，更及時的調(diào)整我們業(yè)務(wù)策略，真正的實現(xiàn)讓數(shù)據(jù)驅(qū)動業(yè)務(wù)?！崩蠲髡劦?。

·廣泛的數(shù)據(jù)與分析服務(wù)可滿足當前與未來的業(yè)務(wù)需求

亞馬遜云科技提供了從數(shù)據(jù)存儲、數(shù)據(jù)湖、大數(shù)據(jù)分析、流式分析、商業(yè)智能與機器學(xué)習在內(nèi)的一系列廣泛的云上托管服務(wù)，能夠滿足不同發(fā)展階段的企業(yè)對于數(shù)據(jù)分析與利用的需求?！拔覀兘⑵髽I(yè)統(tǒng)一分析平臺的初衷之一是消除各項目組自建數(shù)據(jù)庫和自行分析給IT環(huán)境和業(yè)務(wù)造成的復(fù)雜度，亞馬遜云科技的托管服務(wù)讓我們可以輕松的按照業(yè)務(wù)的需求進行靈活的組合和構(gòu)建，在短時間內(nèi)打造屬于自己的數(shù)據(jù)倉庫和分析能力，因此我們可以更多的去關(guān)注于分析的策略和規(guī)則，而不是技術(shù)的運維管理?！崩蠲髡劦?。

北京樂城堡科技有限公司數(shù)據(jù)總監(jiān)李明表示：“亞馬遜云科技的托管服務(wù)讓我們可以輕松的按照業(yè)務(wù)的需求進行靈活的組合和構(gòu)建，在短時間內(nèi)打造屬于自己的數(shù)據(jù)倉庫和分析能力，因此我們可以更多的去關(guān)注于分析的策略和規(guī)則，而不是技術(shù)的運維管理。另外，通過Amazon Redshift結(jié)合Amazon MSK的流數(shù)據(jù)實時攝入功能，我們能夠?qū)?shù)據(jù)攝入延遲從分鐘級別降低到秒級別，大大加快了業(yè)務(wù)分析的時效性?！?/p>

獲得的成效

通過采用亞馬遜云科技面向游戲行業(yè)的大數(shù)據(jù)分析解決方案，樂城堡不僅成功的應(yīng)對了業(yè)務(wù)運營中的各類數(shù)據(jù)分析挑戰(zhàn)，也讓企業(yè)獲得了多方面的成效：

首先是將之前分散在各個項目組的數(shù)據(jù)匯總，在企業(yè)內(nèi)構(gòu)建服務(wù)多游戲產(chǎn)品的統(tǒng)一數(shù)據(jù)分析平臺，為企業(yè)提供數(shù)據(jù)驅(qū)動的業(yè)務(wù)運營引擎。亞馬遜云科技的眾多服務(wù)提供了“開箱即用”的方案以及與開源技術(shù)相一致的使用體驗，樂城堡的數(shù)據(jù)分析團隊可以充分利用這些優(yōu)勢在2個月的時間內(nèi)完成各項目組的數(shù)據(jù)整合、遷移與數(shù)據(jù)倉庫的構(gòu)建，并根據(jù)不同業(yè)務(wù)的需求設(shè)計定制化的分析指標，讓游戲項目組成員從復(fù)雜的數(shù)據(jù)分析設(shè)計和操作中釋放出來，轉(zhuǎn)變?yōu)榉治鼋Y(jié)果的使用者，從而讓有限的人力資源專注于游戲產(chǎn)品的創(chuàng)新。

其次讓企業(yè)更有信心的應(yīng)對玩家數(shù)量持續(xù)增長所帶來的分析難題?！拔覀冇螒驑I(yè)務(wù)所產(chǎn)生的數(shù)據(jù)量一直在增長，并且業(yè)務(wù)需要對一定時間的歷史數(shù)據(jù)進行觀測，結(jié)合DAU、日志量、時間范圍等因素，僅玩家分析一個場景就需要面對數(shù)萬條記錄，以前無論是自建還是采用第三方的SaaS化方案效率都是極低的?！?/p>

李明說，“Amazon MSK作為全托管、高可用的Apache Kafka服務(wù)，幫助我們快速構(gòu)建流式傳輸?shù)墓艿?，將之前端到端的?shù)據(jù)傳輸延遲從分鐘級提升到秒級，使得實時攝取和處理流數(shù)據(jù)變得簡單高效。Amazon Redshift作為企業(yè)級數(shù)據(jù)倉庫，能夠容納規(guī)模至PB級別的數(shù)據(jù)，實現(xiàn)復(fù)雜查詢，保證游戲運營人員能快速獲取所需的數(shù)據(jù)與統(tǒng)計信息，無論是規(guī)模還是并發(fā)性能，對于業(yè)務(wù)的持續(xù)增長我們都能保持信心?！?/p>

此外，亞馬遜云科技各服務(wù)之間的良好集成度和互操作性也讓樂城堡可以更好的降低數(shù)據(jù)分析的成本。與自建Hadoop集群與構(gòu)建HDFS存儲相比，采用Amazon Redshift與Amazon S3直連的方式可以簡化企業(yè)在數(shù)據(jù)加工和存儲過程中的架構(gòu)復(fù)雜度并實現(xiàn)更好的成本效益，數(shù)據(jù)工程師可以使用熟悉的ANSI SQL直接在Amazon S3中查詢開放文件格式，并可將各類數(shù)據(jù)輕松導(dǎo)出至Amazon S3數(shù)據(jù)湖做進行進一步的加工利用。根據(jù)樂城堡的測算，在同樣數(shù)據(jù)體量下，采用Amazon S3為數(shù)據(jù)倉庫提供存儲支持更具經(jīng)濟優(yōu)勢，能夠幫助企業(yè)將成本控制到自建方式的十分之一。

展望未來，樂城堡將繼續(xù)在游戲業(yè)務(wù)運營和數(shù)據(jù)分析場景中與亞馬遜云科技保持密切的合作，以更好的挖掘數(shù)據(jù)所隱藏的價值。目前公司已在業(yè)務(wù)中應(yīng)用Amazon Redshift ML，讓大數(shù)據(jù)團隊的開發(fā)人員能夠在數(shù)據(jù)倉庫中使用熟悉的SQL命令以更加輕松的方式來創(chuàng)建、訓(xùn)練和應(yīng)用機器學(xué)習模型，樂城堡也將在人工智能與機器學(xué)習的應(yīng)用中整合Amazon SageMaker提供的托管機器學(xué)習能力完成模型訓(xùn)練，幫助企業(yè)實現(xiàn)更加精細化的業(yè)務(wù)運營。

關(guān)于樂城堡

北京樂城堡科技有限公司是一家全球化的移動游戲開發(fā)公司，成立于2014年，專注于開發(fā)休閑游戲，服務(wù)千萬級的全球用戶。我們的夢想是創(chuàng)造出被全球各類人群喜愛和記住的優(yōu)秀游戲。我們秉持著"用心做好游戲，技術(shù)引領(lǐng)未來"的理念，這個理念深深地影響了我們的企業(yè)文化和工作方式。

樂城堡的核心價值觀包括自主性、工匠精神、責任感和成長。自主性讓我們在真正重要的事情上越來越優(yōu)秀。工匠精神，即對技能的磨練和執(zhí)著，是成功的秘訣，也是贏得他人尊重的關(guān)鍵。我們相信，在長期之中，我們塑造了我們的游戲，我們的團隊，以及我們自己。成長意味著創(chuàng)造游戲的過程是一個永無止境的旅程，我們在其中不斷學(xué)習并向前發(fā)展。

我們認識到游戲數(shù)據(jù)分析的重要性，通過深度理解玩家行為、游戲性能和市場趨勢，我們可以持續(xù)優(yōu)化我們的產(chǎn)品，提高用戶體驗，并根據(jù)數(shù)據(jù)反饋調(diào)整我們的戰(zhàn)略。