云原生數(shù)據(jù)分析全面升級(jí)，重塑數(shù)據(jù)分析體驗(yàn)

近日，在2021亞馬遜云科技re:Invent全球大會(huì)上，我們宣布云原生數(shù)據(jù)分析迎來(lái)了全面的無(wú)服務(wù)器進(jìn)程。

客戶無(wú)需配置、擴(kuò)展或管理底層基礎(chǔ)架構(gòu)，即可輕松地分析任何規(guī)模的數(shù)據(jù)。Amazon Redshift Serverless可在幾秒鐘內(nèi)自動(dòng)設(shè)置和擴(kuò)展資源，讓客戶無(wú)需管理數(shù)據(jù)倉(cāng)庫(kù)集群，即可以PB級(jí)數(shù)據(jù)規(guī)模運(yùn)行高性能分析工作負(fù)載。Amazon EMR Serverless讓客戶無(wú)需部署、管理和擴(kuò)展底層基礎(chǔ)設(shè)施，即可使用開(kāi)源大數(shù)據(jù)框架（如Apache Spark、Hive和Presto）運(yùn)行分析型應(yīng)用程序。Amazon Managed Streaming for Apache Kafka(Amazon MSK)Serverless可快速擴(kuò)展資源，極大簡(jiǎn)化實(shí)時(shí)數(shù)據(jù)攝取和流式傳輸。Amazon Kinesis Data Streams按需版是亞馬遜云科技流式數(shù)據(jù)處理服務(wù)Kinesis Data Streams的一種全新容量模式，實(shí)現(xiàn)每分鐘處理數(shù)GB的寫入和讀取吞吐量的同時(shí)，而不需要進(jìn)行容量規(guī)劃。

亞馬遜云科技數(shù)據(jù)分析副總裁Rahul Pathak表示：“一些客戶希望細(xì)粒度的掌控其工作負(fù)載的各個(gè)方面，但同時(shí)也有客戶希望亞馬遜云科技幫助他們將分析引擎基礎(chǔ)設(shè)施管理工作中不確定的部分剝離出來(lái)，以便更快地行動(dòng)，并在企業(yè)環(huán)境中擴(kuò)大使用數(shù)據(jù)分析。今天，為降低客戶管理數(shù)據(jù)分析基礎(chǔ)設(shè)施的復(fù)雜性，我們?yōu)槿N主流的分析服務(wù)增加了無(wú)服務(wù)器功能?？蛻艨梢愿p松、經(jīng)濟(jì)地實(shí)現(xiàn)基礎(chǔ)設(shè)施現(xiàn)代化，并統(tǒng)一來(lái)自各種數(shù)據(jù)源的大量數(shù)據(jù)?，F(xiàn)在，客戶無(wú)需考慮管理基礎(chǔ)設(shè)施，即可運(yùn)行任何規(guī)模的分析工作負(fù)載，并向需要它的人員和應(yīng)用程序快速提供洞察?！?/p>

亞馬遜云科技提供了廣泛的、專門構(gòu)建的數(shù)據(jù)分析服務(wù)幫助客戶制定數(shù)據(jù)驅(qū)動(dòng)的決策，包括用于數(shù)據(jù)倉(cāng)庫(kù)的Amazon Redshift、用于處理實(shí)時(shí)數(shù)據(jù)流的Amazon MSK，以及用于運(yùn)行Apache Spark、Hive、Presto和其他開(kāi)源大數(shù)據(jù)框架的Amazon EMR。

盡管這些服務(wù)為各種應(yīng)用場(chǎng)景提供了強(qiáng)大的分析功能，但仍有客戶希望能更進(jìn)一步，從管理底層集群或服務(wù)器的工作中解放出來(lái)。為了消除擴(kuò)展和管理基礎(chǔ)設(shè)施的復(fù)雜性，亞馬遜云科技于2014年在計(jì)算領(lǐng)域引入無(wú)服務(wù)器、事件驅(qū)動(dòng)的概念，大量客戶已經(jīng)采用亞馬遜云科技的無(wú)服務(wù)器技術(shù)，無(wú)需配置、擴(kuò)展或管理服務(wù)器，或部署計(jì)算實(shí)例和存儲(chǔ)來(lái)滿足其應(yīng)用程序的峰值容量。

亞馬遜云科技進(jìn)一步將無(wú)服務(wù)器能力擴(kuò)展到分析引擎，實(shí)現(xiàn)自動(dòng)添加或減少資源，提供恰到好處的容量，滿足客戶任何規(guī)模的數(shù)據(jù)分析需求，客戶無(wú)需調(diào)整集群大小或?yàn)闈M足峰值容量而過(guò)度配置，進(jìn)而節(jié)省時(shí)間并優(yōu)化成本。

1.Amazon Redshift Serverless實(shí)現(xiàn)無(wú)服務(wù)器數(shù)據(jù)倉(cāng)庫(kù)：如今，數(shù)以萬(wàn)計(jì)的客戶每天都在使用Amazon Redshift處理超過(guò)2EB的數(shù)據(jù)。與其他企業(yè)云數(shù)據(jù)倉(cāng)庫(kù)相比，Amazon Redshift提供高達(dá)3倍的性價(jià)比和高達(dá)10倍的查詢性能，以更低的成本為客戶提供更快的數(shù)據(jù)分析。

Amazon Redshift Serverless讓客戶無(wú)需設(shè)置、管理或擴(kuò)展集群，即可更輕松地從數(shù)據(jù)中快速獲取洞察。當(dāng)前自行管理Amazon Redshift集群的客戶無(wú)需更改應(yīng)用程序，就可以通過(guò)Amazon Redshift控制臺(tái)或應(yīng)用程序編程接口（API）輕松地將它們轉(zhuǎn)移到新的無(wú)服務(wù)器集群上。

2.Amazon EMR Serverless實(shí)現(xiàn)無(wú)服務(wù)器大數(shù)據(jù)分析：數(shù)以萬(wàn)計(jì)的客戶正在使用Amazon EMR運(yùn)行開(kāi)源框架，如Apache Spark、Hive和Presto，用于大規(guī)模分布式數(shù)據(jù)處理作業(yè)、交互式SQL查詢和機(jī)器學(xué)習(xí)應(yīng)用程序?？蛻糁恍韬?jiǎn)單地指定想要運(yùn)行的框架，Amazon EMR Serverless就可以隨著工作負(fù)載需求的變化規(guī)劃部署、管理和擴(kuò)展計(jì)算和內(nèi)存資源?？蛻暨x擇一個(gè)開(kāi)源框架并使用Amazon EMR API、Amazon Command Line Interface(Amazon CLI)或Amazon Management Console提交任務(wù)，即可開(kāi)始使用Amazon EMR Serverless。

3.Amazon MSK Serverless實(shí)現(xiàn)無(wú)服務(wù)器數(shù)據(jù)流：越來(lái)越多企業(yè)正采用Apache Kafka捕獲和分析來(lái)自物聯(lián)網(wǎng)設(shè)備、網(wǎng)站點(diǎn)擊流、數(shù)據(jù)庫(kù)日志和許多其他持續(xù)生成動(dòng)態(tài)數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流。通過(guò)Amazon MSK Serverless，客戶不必?fù)?dān)心容量規(guī)劃或不可預(yù)測(cè)的工作負(fù)載，即可自動(dòng)構(gòu)建、管理和擴(kuò)展集群?？蛻粢_(kāi)始使用Amazon MSK Serverless，只需在Amazon MSK控制臺(tái)中創(chuàng)建一個(gè)集群，設(shè)置一個(gè)專用且安全的Apache Kafka端點(diǎn)，使用新的或已有的Apache Kafka客戶端來(lái)流式傳輸數(shù)據(jù)。

4.Amazon Kinesis Data Streams按需版是Kinesis Data Streams的一種全新容量模式：Amazon Kinesis Data Streams是一項(xiàng)無(wú)服務(wù)器流式數(shù)據(jù)服務(wù)，可簡(jiǎn)化任何規(guī)模的串流數(shù)據(jù)捕獲、處理和存儲(chǔ)。而新發(fā)布的按需版可以實(shí)現(xiàn)每分鐘可以處理數(shù)GB的寫入和讀取吞吐量，而不需要進(jìn)行容量規(guī)劃。您可以一鍵創(chuàng)建新的按需數(shù)據(jù)流或?qū)F(xiàn)有數(shù)據(jù)流轉(zhuǎn)換到按需模式，不必預(yù)置與管理服務(wù)器、存儲(chǔ)或吞吐量。在按需模式中，您只需要為使用的吞吐量而不是預(yù)置的資源付費(fèi)，從而使在成本和性能之間取得平衡變得更加簡(jiǎn)單。

客戶現(xiàn)在可以快速、輕松地開(kāi)始使用亞馬遜云科技數(shù)據(jù)分析服務(wù)，享受無(wú)服務(wù)器的自動(dòng)部署、按需擴(kuò)展和按需付費(fèi)，不僅降低成本，還可以將數(shù)據(jù)分析服務(wù)擴(kuò)展到更多用戶。接下來(lái)，讓我們一起聽(tīng)聽(tīng)TA們?cè)趺凑f(shuō)吧~

羅氏制藥(Roche)

羅氏制藥(Roche)是全球最大的制藥公司之一，也是全球領(lǐng)先的癌癥治療供應(yīng)商?！癆mazon Redshift Serverless讓我們無(wú)需管理集群即可完成數(shù)據(jù)管理，并通過(guò)部署適當(dāng)?shù)娜萘繚M足需求、優(yōu)化成本?！盧oche首席云平臺(tái)和機(jī)器學(xué)習(xí)工程師Yannick Misteli博士表示：“Amazon Redshift Serverless可減輕運(yùn)營(yíng)負(fù)擔(dān)，降低成本，并幫助羅氏制藥規(guī)?；瘜?shí)踐Go-to-Market策略。這種極簡(jiǎn)的方式改變了游戲規(guī)則，幫助我們快速上手并支持各種繁重的分析場(chǎng)景?！?/p>

拳頭游戲(Riot Games)

拳頭游戲(Riot Games)是一家視頻游戲開(kāi)發(fā)商和發(fā)行商，以開(kāi)發(fā)世界上最受歡迎的PC游戲之一《英雄聯(lián)盟》而聞名?！拔覀兠刻煸趤嗰R遜云科技平臺(tái)上使用Amazon MSK攝取大約20TB的數(shù)據(jù)，減少數(shù)據(jù)生成后的查詢時(shí)間對(duì)我們至關(guān)重要。通過(guò)Amazon MSK，我們現(xiàn)在擁有一種將數(shù)據(jù)流式傳輸?shù)阶约荷鷳B(tài)系統(tǒng)的機(jī)制，同時(shí)消除了自行運(yùn)行Apache Kafka的繁重工作?！比^游戲高級(jí)首席數(shù)據(jù)科學(xué)家Wesley Kerr表示：“Amazon MSK Serverless將進(jìn)一步簡(jiǎn)化我們的運(yùn)營(yíng)，它讓我們無(wú)需采取擴(kuò)展措施即可根據(jù)需求的變化而改變數(shù)據(jù)流的傳輸。為此，我們的開(kāi)發(fā)人員不必?fù)?dān)心Apache Kafka的擴(kuò)展問(wèn)題，而將精力放在提供全球最佳的游戲體驗(yàn)上?！?/p>

Intuit

Intuit是一個(gè)全球技術(shù)平臺(tái)，幫助消費(fèi)者和小型企業(yè)應(yīng)對(duì)重要的財(cái)務(wù)挑戰(zhàn)，通過(guò)TurboTax、QuickBooks、Mint、Credit Karma和Mailchimp為超過(guò)1億的全球客戶提供服務(wù)。Intuit工程總監(jiān)Ritesh Bansal表示：“在Intuit，我們使用Apache Kafka作為中央事件總線，貫穿于為我們產(chǎn)品提供支持的數(shù)千個(gè)解耦的微服務(wù)之間。我們近期將自建的Apache Kafka集群遷移到Amazon MSK，因?yàn)樗屛覀儗⒐こ倘瞬刨Y源投入到面向客戶的創(chuàng)新上。Amazon MSK Serverless的推出讓我們感到高興，它將讓我們更輕松地?cái)U(kuò)展規(guī)模和管理容量。”

The Orchard

The Orchard是Sony Music Entertainment的子公司，負(fù)責(zé)收集、處理來(lái)自廠牌和藝術(shù)家的音樂(lè)，并將其分發(fā)給Spotify、Amazon Music和其他流媒體供應(yīng)商和實(shí)體零售商。The Orchard工程經(jīng)理Farouk Umar表示：“Amazon MSK幫助我們加快推出為The Orchard Suite處理流數(shù)據(jù)的應(yīng)用程序。Amazon MSK Serverless讓不熟悉Apache Kafka擴(kuò)展的團(tuán)隊(duì)能夠從Amazon MSK中受益，讓我們不必管Apache Kafka，從而提供更好的開(kāi)發(fā)人員體驗(yàn)。為此，我們能夠更快地?cái)U(kuò)展Apache Kafka的采用，幫助我們加速采用事件驅(qū)動(dòng)的策略。”

Classmethod

Classmethod數(shù)據(jù)集成部解決方案架構(gòu)師Satoru Ishikawa表示：“Customer Story Analytics(CSA)是我們數(shù)據(jù)集成平臺(tái)服務(wù)，它集成了Amazon Redshift、Amazon S3、Amazon Aurora和其他服務(wù)，避免產(chǎn)生數(shù)據(jù)孤島并在數(shù)據(jù)服務(wù)之間提供強(qiáng)大、統(tǒng)一的治理能力。Amazon Redshift Serverless自動(dòng)調(diào)整計(jì)算和存儲(chǔ)的大小，并快速擴(kuò)展。這種彈性的無(wú)服務(wù)器體驗(yàn)降低了手動(dòng)操作的成本，擴(kuò)展了部門之間的數(shù)據(jù)訪問(wèn)，并加速了數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的自主性，讓我們以新方式擴(kuò)展CSA業(yè)務(wù)?！?/p>

Sedric

Sedric是一個(gè)基于人工智能的風(fēng)險(xiǎn)與合規(guī)的先進(jìn)平臺(tái)，專為新一代金融科技設(shè)計(jì)?！耙子眯院妥灾綌?shù)據(jù)訪問(wèn)是我們分析計(jì)劃的關(guān)鍵。Amazon Redshift Serverless讓我們無(wú)需考慮數(shù)據(jù)倉(cāng)庫(kù)的管理?！盨edric研發(fā)副總裁Tomer Levi表示：“我們從Amazon S3加載數(shù)據(jù)的速度比之前的方案快了7倍，幫助我們從數(shù)百萬(wàn)個(gè)客戶事件中獲得可行的見(jiàn)解。我們對(duì)Amazon Redshift Serverless達(dá)到的性能改進(jìn)和成本優(yōu)化感到非常高興?！?/p>

ZS Associates

ZS Associates是一家全球?qū)I(yè)服務(wù)公司，幫助企業(yè)為其客戶開(kāi)發(fā)和交付產(chǎn)品。“在我們數(shù)據(jù)分析戰(zhàn)略中，亞馬遜云科技的服務(wù)發(fā)揮著重要的作用，多年來(lái)我們?nèi)〉昧司薮蟮某晒?。我們的SaaS產(chǎn)品通過(guò)Amazon EMR可靠地升級(jí)Spark，并消除無(wú)差別的繁重工作?！盳S云架構(gòu)副總監(jiān)Anirudh Vohra表示：“但是，我們的一些工作負(fù)載不需要高自定義性，我們只想運(yùn)行某些Apache Spark應(yīng)用程序，并不必?fù)?dān)心管理和擴(kuò)展服務(wù)器或集群。我們期待將具有臨時(shí)分析需求的工作負(fù)載遷移到Amazon EMR Serverless上?！?/p>