云原生數(shù)據(jù)分析全面升級，重塑數(shù)據(jù)分析體驗

近日，在2021亞馬遜云科技re:Invent全球大會上，我們宣布云原生數(shù)據(jù)分析迎來了全面的無服務(wù)器進(jìn)程。

客戶無需配置、擴展或管理底層基礎(chǔ)架構(gòu)，即可輕松地分析任何規(guī)模的數(shù)據(jù)。Amazon Redshift Serverless可在幾秒鐘內(nèi)自動設(shè)置和擴展資源，讓客戶無需管理數(shù)據(jù)倉庫集群，即可以PB級數(shù)據(jù)規(guī)模運行高性能分析工作負(fù)載。Amazon EMR Serverless讓客戶無需部署、管理和擴展底層基礎(chǔ)設(shè)施，即可使用開源大數(shù)據(jù)框架（如Apache Spark、Hive和Presto）運行分析型應(yīng)用程序。Amazon Managed Streaming for Apache Kafka(Amazon MSK)Serverless可快速擴展資源，極大簡化實時數(shù)據(jù)攝取和流式傳輸。Amazon Kinesis Data Streams按需版是亞馬遜云科技流式數(shù)據(jù)處理服務(wù)Kinesis Data Streams的一種全新容量模式，實現(xiàn)每分鐘處理數(shù)GB的寫入和讀取吞吐量的同時，而不需要進(jìn)行容量規(guī)劃。

亞馬遜云科技數(shù)據(jù)分析副總裁Rahul Pathak表示：“一些客戶希望細(xì)粒度的掌控其工作負(fù)載的各個方面，但同時也有客戶希望亞馬遜云科技幫助他們將分析引擎基礎(chǔ)設(shè)施管理工作中不確定的部分剝離出來，以便更快地行動，并在企業(yè)環(huán)境中擴大使用數(shù)據(jù)分析。今天，為降低客戶管理數(shù)據(jù)分析基礎(chǔ)設(shè)施的復(fù)雜性，我們?yōu)槿N主流的分析服務(wù)增加了無服務(wù)器功能?？蛻艨梢愿p松、經(jīng)濟地實現(xiàn)基礎(chǔ)設(shè)施現(xiàn)代化，并統(tǒng)一來自各種數(shù)據(jù)源的大量數(shù)據(jù)?，F(xiàn)在，客戶無需考慮管理基礎(chǔ)設(shè)施，即可運行任何規(guī)模的分析工作負(fù)載，并向需要它的人員和應(yīng)用程序快速提供洞察?！?/p>

亞馬遜云科技提供了廣泛的、專門構(gòu)建的數(shù)據(jù)分析服務(wù)幫助客戶制定數(shù)據(jù)驅(qū)動的決策，包括用于數(shù)據(jù)倉庫的Amazon Redshift、用于處理實時數(shù)據(jù)流的Amazon MSK，以及用于運行Apache Spark、Hive、Presto和其他開源大數(shù)據(jù)框架的Amazon EMR。

盡管這些服務(wù)為各種應(yīng)用場景提供了強大的分析功能，但仍有客戶希望能更進(jìn)一步，從管理底層集群或服務(wù)器的工作中解放出來。為了消除擴展和管理基礎(chǔ)設(shè)施的復(fù)雜性，亞馬遜云科技于2014年在計算領(lǐng)域引入無服務(wù)器、事件驅(qū)動的概念，大量客戶已經(jīng)采用亞馬遜云科技的無服務(wù)器技術(shù)，無需配置、擴展或管理服務(wù)器，或部署計算實例和存儲來滿足其應(yīng)用程序的峰值容量。

亞馬遜云科技進(jìn)一步將無服務(wù)器能力擴展到分析引擎，實現(xiàn)自動添加或減少資源，提供恰到好處的容量，滿足客戶任何規(guī)模的數(shù)據(jù)分析需求，客戶無需調(diào)整集群大小或為滿足峰值容量而過度配置，進(jìn)而節(jié)省時間并優(yōu)化成本。

1.Amazon Redshift Serverless實現(xiàn)無服務(wù)器數(shù)據(jù)倉庫：如今，數(shù)以萬計的客戶每天都在使用Amazon Redshift處理超過2EB的數(shù)據(jù)。與其他企業(yè)云數(shù)據(jù)倉庫相比，Amazon Redshift提供高達(dá)3倍的性價比和高達(dá)10倍的查詢性能，以更低的成本為客戶提供更快的數(shù)據(jù)分析。

Amazon Redshift Serverless讓客戶無需設(shè)置、管理或擴展集群，即可更輕松地從數(shù)據(jù)中快速獲取洞察。當(dāng)前自行管理Amazon Redshift集群的客戶無需更改應(yīng)用程序，就可以通過Amazon Redshift控制臺或應(yīng)用程序編程接口（API）輕松地將它們轉(zhuǎn)移到新的無服務(wù)器集群上。

2.Amazon EMR Serverless實現(xiàn)無服務(wù)器大數(shù)據(jù)分析：數(shù)以萬計的客戶正在使用Amazon EMR運行開源框架，如Apache Spark、Hive和Presto，用于大規(guī)模分布式數(shù)據(jù)處理作業(yè)、交互式SQL查詢和機器學(xué)習(xí)應(yīng)用程序。客戶只需簡單地指定想要運行的框架，Amazon EMR Serverless就可以隨著工作負(fù)載需求的變化規(guī)劃部署、管理和擴展計算和內(nèi)存資源?？蛻暨x擇一個開源框架并使用Amazon EMR API、Amazon Command Line Interface(Amazon CLI)或Amazon Management Console提交任務(wù)，即可開始使用Amazon EMR Serverless。

3.Amazon MSK Serverless實現(xiàn)無服務(wù)器數(shù)據(jù)流：越來越多企業(yè)正采用Apache Kafka捕獲和分析來自物聯(lián)網(wǎng)設(shè)備、網(wǎng)站點擊流、數(shù)據(jù)庫日志和許多其他持續(xù)生成動態(tài)數(shù)據(jù)的實時數(shù)據(jù)流。通過Amazon MSK Serverless，客戶不必?fù)?dān)心容量規(guī)劃或不可預(yù)測的工作負(fù)載，即可自動構(gòu)建、管理和擴展集群。客戶要開始使用Amazon MSK Serverless，只需在Amazon MSK控制臺中創(chuàng)建一個集群，設(shè)置一個專用且安全的Apache Kafka端點，使用新的或已有的Apache Kafka客戶端來流式傳輸數(shù)據(jù)。

4.Amazon Kinesis Data Streams按需版是Kinesis Data Streams的一種全新容量模式：Amazon Kinesis Data Streams是一項無服務(wù)器流式數(shù)據(jù)服務(wù)，可簡化任何規(guī)模的串流數(shù)據(jù)捕獲、處理和存儲。而新發(fā)布的按需版可以實現(xiàn)每分鐘可以處理數(shù)GB的寫入和讀取吞吐量，而不需要進(jìn)行容量規(guī)劃。您可以一鍵創(chuàng)建新的按需數(shù)據(jù)流或?qū)F(xiàn)有數(shù)據(jù)流轉(zhuǎn)換到按需模式，不必預(yù)置與管理服務(wù)器、存儲或吞吐量。在按需模式中，您只需要為使用的吞吐量而不是預(yù)置的資源付費，從而使在成本和性能之間取得平衡變得更加簡單。

客戶現(xiàn)在可以快速、輕松地開始使用亞馬遜云科技數(shù)據(jù)分析服務(wù)，享受無服務(wù)器的自動部署、按需擴展和按需付費，不僅降低成本，還可以將數(shù)據(jù)分析服務(wù)擴展到更多用戶。接下來，讓我們一起聽聽TA們怎么說吧~

羅氏制藥(Roche)

羅氏制藥(Roche)是全球最大的制藥公司之一，也是全球領(lǐng)先的癌癥治療供應(yīng)商。“Amazon Redshift Serverless讓我們無需管理集群即可完成數(shù)據(jù)管理，并通過部署適當(dāng)?shù)娜萘繚M足需求、優(yōu)化成本?！盧oche首席云平臺和機器學(xué)習(xí)工程師Yannick Misteli博士表示：“Amazon Redshift Serverless可減輕運營負(fù)擔(dān)，降低成本，并幫助羅氏制藥規(guī)?；瘜嵺`Go-to-Market策略。這種極簡的方式改變了游戲規(guī)則，幫助我們快速上手并支持各種繁重的分析場景。”

拳頭游戲(Riot Games)

拳頭游戲(Riot Games)是一家視頻游戲開發(fā)商和發(fā)行商，以開發(fā)世界上最受歡迎的PC游戲之一《英雄聯(lián)盟》而聞名。“我們每天在亞馬遜云科技平臺上使用Amazon MSK攝取大約20TB的數(shù)據(jù)，減少數(shù)據(jù)生成后的查詢時間對我們至關(guān)重要。通過Amazon MSK，我們現(xiàn)在擁有一種將數(shù)據(jù)流式傳輸?shù)阶约荷鷳B(tài)系統(tǒng)的機制，同時消除了自行運行Apache Kafka的繁重工作。”拳頭游戲高級首席數(shù)據(jù)科學(xué)家Wesley Kerr表示：“Amazon MSK Serverless將進(jìn)一步簡化我們的運營，它讓我們無需采取擴展措施即可根據(jù)需求的變化而改變數(shù)據(jù)流的傳輸。為此，我們的開發(fā)人員不必?fù)?dān)心Apache Kafka的擴展問題，而將精力放在提供全球最佳的游戲體驗上。”

Intuit

Intuit是一個全球技術(shù)平臺，幫助消費者和小型企業(yè)應(yīng)對重要的財務(wù)挑戰(zhàn)，通過TurboTax、QuickBooks、Mint、Credit Karma和Mailchimp為超過1億的全球客戶提供服務(wù)。Intuit工程總監(jiān)Ritesh Bansal表示：“在Intuit，我們使用Apache Kafka作為中央事件總線，貫穿于為我們產(chǎn)品提供支持的數(shù)千個解耦的微服務(wù)之間。我們近期將自建的Apache Kafka集群遷移到Amazon MSK，因為它讓我們將工程人才資源投入到面向客戶的創(chuàng)新上。Amazon MSK Serverless的推出讓我們感到高興，它將讓我們更輕松地擴展規(guī)模和管理容量。”

The Orchard

The Orchard是Sony Music Entertainment的子公司，負(fù)責(zé)收集、處理來自廠牌和藝術(shù)家的音樂，并將其分發(fā)給Spotify、Amazon Music和其他流媒體供應(yīng)商和實體零售商。The Orchard工程經(jīng)理Farouk Umar表示：“Amazon MSK幫助我們加快推出為The Orchard Suite處理流數(shù)據(jù)的應(yīng)用程序。Amazon MSK Serverless讓不熟悉Apache Kafka擴展的團隊能夠從Amazon MSK中受益，讓我們不必管Apache Kafka，從而提供更好的開發(fā)人員體驗。為此，我們能夠更快地擴展Apache Kafka的采用，幫助我們加速采用事件驅(qū)動的策略?！?/p>

Classmethod

Classmethod數(shù)據(jù)集成部解決方案架構(gòu)師Satoru Ishikawa表示：“Customer Story Analytics(CSA)是我們數(shù)據(jù)集成平臺服務(wù)，它集成了Amazon Redshift、Amazon S3、Amazon Aurora和其他服務(wù)，避免產(chǎn)生數(shù)據(jù)孤島并在數(shù)據(jù)服務(wù)之間提供強大、統(tǒng)一的治理能力。Amazon Redshift Serverless自動調(diào)整計算和存儲的大小，并快速擴展。這種彈性的無服務(wù)器體驗降低了手動操作的成本，擴展了部門之間的數(shù)據(jù)訪問，并加速了數(shù)據(jù)分析和機器學(xué)習(xí)的自主性，讓我們以新方式擴展CSA業(yè)務(wù)?！?/p>

Sedric

Sedric是一個基于人工智能的風(fēng)險與合規(guī)的先進(jìn)平臺，專為新一代金融科技設(shè)計?！耙子眯院妥灾綌?shù)據(jù)訪問是我們分析計劃的關(guān)鍵。Amazon Redshift Serverless讓我們無需考慮數(shù)據(jù)倉庫的管理。”Sedric研發(fā)副總裁Tomer Levi表示：“我們從Amazon S3加載數(shù)據(jù)的速度比之前的方案快了7倍，幫助我們從數(shù)百萬個客戶事件中獲得可行的見解。我們對Amazon Redshift Serverless達(dá)到的性能改進(jìn)和成本優(yōu)化感到非常高興?！?/p>

ZS Associates

ZS Associates是一家全球?qū)I(yè)服務(wù)公司，幫助企業(yè)為其客戶開發(fā)和交付產(chǎn)品?！霸谖覀償?shù)據(jù)分析戰(zhàn)略中，亞馬遜云科技的服務(wù)發(fā)揮著重要的作用，多年來我們?nèi)〉昧司薮蟮某晒?。我們的SaaS產(chǎn)品通過Amazon EMR可靠地升級Spark，并消除無差別的繁重工作?！盳S云架構(gòu)副總監(jiān)Anirudh Vohra表示：“但是，我們的一些工作負(fù)載不需要高自定義性，我們只想運行某些Apache Spark應(yīng)用程序，并不必?fù)?dān)心管理和擴展服務(wù)器或集群。我們期待將具有臨時分析需求的工作負(fù)載遷移到Amazon EMR Serverless上?！?/p>