構(gòu)建Serverless數(shù)據(jù)分析戰(zhàn)略，Amazon EMR Serverless在中國區(qū)域上線

您現(xiàn)在可以通過由光環(huán)新網(wǎng)運(yùn)營的亞馬遜云科技中國（北京）區(qū)域和由西云數(shù)據(jù)運(yùn)營的亞馬遜云科技中國（寧夏）區(qū)域使用Amazon EMR Serverless，這是一種無服務(wù)器部署選項(xiàng)，客戶可以使用Apache Spark和Hive等開源框架運(yùn)行大數(shù)據(jù)分析應(yīng)用程序，而無需配置、管理和擴(kuò)展集群或服務(wù)器。

Amazon EMR是行業(yè)領(lǐng)先的大數(shù)據(jù)分析服務(wù)，適用于使用開源框架進(jìn)行PB級數(shù)據(jù)處理、交互分析和機(jī)器學(xué)習(xí)，它可以更快地運(yùn)行大數(shù)據(jù)應(yīng)用并且成本不到本地解決方案成本的一半。通過性能優(yōu)化且兼容開源API的Spark、Hive和Presto版本，洞察時(shí)間提升為原來的2倍。

Amazon EMR Serverless是Amazon EMR的無服務(wù)器部署選項(xiàng)，客戶無需配置、管理和擴(kuò)展集群或服務(wù)器即可運(yùn)行大數(shù)據(jù)分析應(yīng)用程序。

新技術(shù)的涌現(xiàn)

給應(yīng)用代碼編寫帶來革新

隨著信息技術(shù)的不斷發(fā)展，計(jì)算機(jī)編程已經(jīng)成為了現(xiàn)代社會中必不可少的一部分。然而，編寫代碼仍然是一個(gè)相對繁瑣和耗時(shí)的過程，需要開發(fā)人員花費(fèi)大量時(shí)間和精力來創(chuàng)建和維護(hù)應(yīng)用程序。

在未來，隨著新技術(shù)的不斷涌現(xiàn)，我們可以看到編寫代碼的方式將會發(fā)生根本變化。未來，唯一需要書寫的代碼是“業(yè)務(wù)邏輯”，因?yàn)槠渌械幕A(chǔ)設(shè)施和框架都由機(jī)器自動完成。

在未來，基于Serverless的特性，每一行代碼都將為業(yè)務(wù)場景而寫。開發(fā)者不再需要關(guān)注底層服務(wù)器和基礎(chǔ)設(shè)施的管理，而是能夠?qū)Ｗ⒂跇?gòu)建出色的應(yīng)用程序和功能，以實(shí)現(xiàn)更高效的業(yè)務(wù)流程和更好的用戶體驗(yàn)。Serverless將使得開發(fā)者可以根據(jù)需要快速創(chuàng)建、測試和部署代碼，同時(shí)享受自動擴(kuò)容、彈性可靠性以及安全性等方面的優(yōu)勢。這一愿景將加速軟件開發(fā)的速度，提高生產(chǎn)力，并且使得技術(shù)更貼近業(yè)務(wù)需求。

亞馬遜云科技提供了全面的Serverless數(shù)據(jù)分析服務(wù)選項(xiàng)，包括Amazon Redshift數(shù)據(jù)倉庫、Amazon EMR大數(shù)據(jù)平臺、Amazon Kinesis流式處理、Amazon QuickSight商業(yè)智能工具等。這些服務(wù)可以幫助企業(yè)收集、存儲、處理和分析海量數(shù)據(jù)，以便更好地理解客戶行為、優(yōu)化業(yè)務(wù)決策并探索新機(jī)會。此外，亞馬遜云科技還提供了一系列與數(shù)據(jù)相關(guān)的托管服務(wù)，例如Amazon RDS關(guān)系型數(shù)據(jù)庫、Amazon DynamoDB云原生數(shù)據(jù)庫，以及Amazon S3對象存儲服務(wù)。可以輕松快速地創(chuàng)建基于云的數(shù)據(jù)庫、數(shù)據(jù)湖和數(shù)據(jù)倉庫，為企業(yè)提供高性能、可擴(kuò)展和安全的數(shù)據(jù)管理解決方案。

選擇Amazon EMR Serverless的6個(gè)理由：

Amazon EMR Serverless是一種快速、可擴(kuò)展、彈性的分析服務(wù)，為企業(yè)提供了一種有效的方式來處理大規(guī)模數(shù)據(jù)，并且不需要預(yù)先配置或管理服務(wù)器。

敏捷：EMR Serverless可以快速啟動和關(guān)閉，并且只在需要處理數(shù)據(jù)時(shí)才會消耗資源，從而使得用戶能夠快速構(gòu)建數(shù)據(jù)處理任務(wù)并有效地控制成本。通過性能優(yōu)化且兼容開源API的Spark、Hive，性能最多可比開源提升2倍。

快速啟動時(shí)間：使用EMR Serverless可以立即開始處理數(shù)據(jù)，無需預(yù)先配置或管理服務(wù)器。亞馬遜云科技負(fù)責(zé)所有底層過程，包括初始化、配置、升級和維護(hù)所需的硬件和軟件。這意味著您可以在幾分鐘內(nèi)啟動服務(wù)，并開始分析數(shù)據(jù)。因此，EMR Serverless可以幫助分析團(tuán)隊(duì)節(jié)省大量時(shí)間和精力，加速數(shù)據(jù)分析應(yīng)用的上線時(shí)間。

高度可擴(kuò)展：Amazon EMR Serverless是一個(gè)高度可擴(kuò)展的分析服務(wù)，它可以自動縮放以處理大規(guī)模數(shù)據(jù)集。這意味著您不必?fù)?dān)心預(yù)測未來需要多少容量，也不必在系統(tǒng)上做任何修改。EMR Serverless可以根據(jù)您的需求自動伸縮，因此您可以專注于分析數(shù)據(jù)而不是管理基礎(chǔ)架構(gòu)。

成本效益：EMR Serverless使用按需定價(jià)模型，這意味著您只需支付實(shí)際使用的資源，而無需購買或租賃整個(gè)服務(wù)器。這種靈活的定價(jià)模型使得EMR Serverless非常具有成本效益，特別是對于需要處理大規(guī)模數(shù)據(jù)集但無法準(zhǔn)確預(yù)測當(dāng)前和未來工作負(fù)載的企業(yè)。

高度安全性：亞馬遜云科技一直是云計(jì)算行業(yè)中最受信任的品牌之一，并且EMR Serverless繼承了亞馬遜云科技的安全性。EMR Serverless提供多層安全性，包括網(wǎng)絡(luò)安全性、身份驗(yàn)證和訪問控制、加密和合規(guī)性。您可以放心地在EMR Serverless上進(jìn)行分析工作，而不用擔(dān)心安全問題。

多可用區(qū)域設(shè)計(jì)：Amazon EMR Serverless服務(wù)原生設(shè)計(jì)支持多可用區(qū)域的部署，用戶提交作業(yè)會自動在一個(gè)可用區(qū)域內(nèi)執(zhí)行。在容災(zāi)情況下，失敗的作業(yè)會被自動提交給其他可用區(qū)域執(zhí)行而無需人工干預(yù)，保障了高可用性和任務(wù)的穩(wěn)定性。

客戶案例

在re:Invent 2022上，流媒體巨頭Disney+分享了他們在EMR Serverless上的使用體驗(yàn)。由于業(yè)務(wù)場景非常復(fù)雜，涉及到多團(tuán)隊(duì)和跨部門的數(shù)據(jù)協(xié)作以及海量數(shù)據(jù)場景，因此需要強(qiáng)大的數(shù)據(jù)基礎(chǔ)設(shè)施。而Disney+的數(shù)據(jù)平臺涵蓋了100個(gè)賬號、20PB的數(shù)據(jù)，并且來自Disney+、ESPN+和Hulu的15個(gè)以上團(tuán)隊(duì)都需要對這些數(shù)據(jù)進(jìn)行分析。最初他們選擇在Amazon EC2上部署大數(shù)據(jù)分析平臺，但是遇到了運(yùn)維困難、高可用配置和大數(shù)據(jù)處理效率等問題。后來，他們轉(zhuǎn)向使用Amazon EMR Serverless作為大數(shù)據(jù)平臺部署模式。EMR Serverless在多租戶、多應(yīng)用、多任務(wù)場景下具有高性能和彈性伸縮特性，解決了他們遇到的性能和管理問題，給他們留下了深刻的印象。

架構(gòu)圖：一個(gè)關(guān)于Disney+如何使用Amazon EMR Serverless的直觀架構(gòu)、