啟元世界選擇亞馬遜云科技“智能湖倉”進行云上創(chuàng)新，提升業(yè)務體驗

人工智能平臺公司啟元世界正在借助亞馬遜云科技的“智能湖倉”進行云上創(chuàng)新，實現(xiàn)數(shù)據的融合和統(tǒng)一治理，加快其全生命周期產品矩陣理念的落地和規(guī)模發(fā)展。同時，在流數(shù)據處理、批數(shù)據處理和即席查詢等不同數(shù)據場景下，利用“智能湖倉”架構專門構建的理念，對流數(shù)據處理系統(tǒng)實現(xiàn)了分鐘級部署，并能夠輕松承載百萬QPS（每秒查詢率）流數(shù)據；還將批處理運行時間減少80%，運營總成本下降50%。

啟元世界的目標是打造游戲全生命周期的產品矩陣，用領先的AI和數(shù)據分析能力，幫助游戲快速上線，改善游戲體驗，提升客戶留存，獲得更大成功。作為服務全球客戶的人工智能平臺公司，啟元世界的技術架構必須做到全球部署，并且需要有極高的可靠性和可擴展性。為了突出和強化在人工智能領域的優(yōu)勢，啟元世界還希望把更多精力聚焦在算法迭代與產品打磨上，這就需要一個成熟、穩(wěn)定、免運維的大數(shù)據托管服務。此外，服務上線后，伴隨業(yè)務規(guī)模的快速增長，游戲運營過程中的波峰、波谷也會愈發(fā)明顯，這就需要一個靈活敏捷且具有彈性伸縮能力的技術架構。

我們的“智能湖倉”架構將全面而深入的數(shù)據服務無縫集成，打通了數(shù)據湖和數(shù)據倉庫之間的數(shù)據移動及訪問。并且進一步實現(xiàn)了數(shù)據在數(shù)據湖、數(shù)據倉庫，以及在數(shù)據查詢、數(shù)據分析、機器學習等各類專門構建的服務之間按需移動，從而形成統(tǒng)一且連續(xù)的整體，滿足客戶各種實際業(yè)務場景下的不同需求。

“亞馬遜云科技智能湖倉架構所提出的自由的數(shù)據移動，數(shù)據湖倉與AI/ML服務組件的深度融合能力，為我們全生命周期產品矩陣理念的快速落地和規(guī)模發(fā)展，提供了超強有力的支持。”

——啟元世界CTO龍海濤

我們的“智能湖倉”架構涵蓋數(shù)據源、數(shù)據攝取層、存儲層、目錄層、數(shù)據處理層和消費層六層架構，可幫助客戶輕松應對海量業(yè)務數(shù)據，充分挖掘數(shù)據價值。

在流處理方面，Amazon Kinesis云原生流數(shù)據全棧解決方案可以一站式解決游戲數(shù)據收集、分析、歸檔問題，從運維敏捷性和性能上都為啟元世界提供了非常優(yōu)秀的體驗。Amazon Kinesis自身就具有面向公網收集流數(shù)據的能力，并且高可用，易于擴展，有完善的鑒權機制，也不需要管理底層硬件。另外，鑒權機制還可以一鍵把數(shù)據歸檔到Amazon Simple Storage Service(Amazon S3)，或者使用Flink框架直接對流數(shù)據進行業(yè)務分析。使用Amazon Kinesis之后，啟元世界流數(shù)據處理系統(tǒng)實現(xiàn)了分鐘級部署，并能夠輕松承載百萬QPS（每秒查詢率）流數(shù)據。

在批處理方面，原先啟元世界習慣于使用Spark進行大數(shù)據分析，但管理Spark集群耗費團隊太多精力，且每天等待數(shù)據處理時間過于漫長，導致無法高效地把主要精力投入到業(yè)務創(chuàng)新。得益于亞馬遜云科技擁抱開源的產品理念，Amazon EMR能夠在云上輕松部署彈性可擴展的Spark集群環(huán)境，進行SQL開發(fā)工作，完全不用擔心集群維護和計算能力受限。此外，亞馬遜云科技托管的Apache Airflow，也能夠幫助啟元世界實現(xiàn)批處理過程的自動化。通過使用Amazon EMR和亞馬遜云科技托管的Apache Airflow，批處理運行時間減少80%，在不改變采用開源組件開發(fā)體驗的前提下，啟元世界運營總成本下降50%，能夠承載的查詢數(shù)量與復雜度上升數(shù)倍。

在即席查詢方面，啟元世界業(yè)務的快速增長需要越來越多的報表，業(yè)務管理和決策也會頻繁提出臨時的查詢需求，這些都給大數(shù)據團隊帶來挑戰(zhàn)。因此公司需要真正的交互式大數(shù)據查詢及報表分析功能，讓業(yè)務人員和管理人員能夠時刻受益于大數(shù)據的潛在價值。通過采用Amazon Glue和Amazon Athena，啟元世界可以在控制臺上快速使用SQL查詢數(shù)據；Amazon QuickSight可以幫助啟元世界快速構建數(shù)據報表，或根據自己的需求完成數(shù)據查詢。秒級響應各種數(shù)據查詢及分析請求，數(shù)據報表生成加快一倍。

關于啟元世界

啟元世界成立于2017年8月，是一家領先的人工智能平臺公司，將先進的人工智能技術應用于智能決策和數(shù)字娛樂領域。公司擁有深度學習、強化學習、云計算等領域自主研發(fā)的核心技術、產品，積累了豐富的行業(yè)應用經驗，為公共科技、數(shù)字娛樂、電力能源、交通物流等行業(yè)提供基于平臺產品的人工智能解決方案。目前，啟元世界已與數(shù)十家行業(yè)知名客戶和機構建立合作關系。