Amazon Glue版本2.0將作業(yè)啟動(dòng)時(shí)間縮短了10倍，現(xiàn)已全面開放

好消息！Amazon Glue版本2.0將Spark ETL作業(yè)的啟動(dòng)時(shí)間縮短了10倍，此版本現(xiàn)已全面開放啦！

Amazon Glue是一項(xiàng)完全托管的提取、轉(zhuǎn)換和加載(ETL)服務(wù)，讓客戶能夠輕松地準(zhǔn)備和加載數(shù)據(jù)以供分析。Amazon Glue采樣“無服務(wù)器”架構(gòu)–您無需預(yù)置或管理任何資源，并且只需在Amazon Glue主動(dòng)運(yùn)行時(shí)為資源付費(fèi)。啟動(dòng)延遲的減少可縮短總體作業(yè)完成所需時(shí)間，支持客戶的微批處理和時(shí)間敏感型工作負(fù)載需求，并通過支持交互式腳本開發(fā)和數(shù)據(jù)探索來提高企業(yè)生產(chǎn)力。

Amazon Glue版本2.0提高了作業(yè)啟動(dòng)延遲的可預(yù)測(cè)性并減少了開銷。此外，Amazon Glue版本2.0的Spark作業(yè)將以1秒為增量計(jì)費(fèi)，最低賬單周期縮短10倍（從最短10分鐘降至最短1分鐘）。因此，客戶現(xiàn)在能夠以更高的性價(jià)比來運(yùn)行微批處理、高時(shí)效性、交互式的工作負(fù)載?？蛻艨梢赃\(yùn)行微批處理作業(yè)來快速加載數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)庫，以及實(shí)現(xiàn)實(shí)時(shí)分析。作業(yè)啟動(dòng)時(shí)間縮短之后，客戶可以更可靠地運(yùn)行SLA驅(qū)動(dòng)的數(shù)據(jù)管道。

此外，縮短作業(yè)啟動(dòng)時(shí)間可實(shí)現(xiàn)交互式的數(shù)據(jù)探索和試驗(yàn)。Amazon Glue版本2.0還新增了從Wheel文件或存儲(chǔ)庫安裝Python模塊的功能。

工作原理

下面我們來看如何在亞馬遜云科技管理控制臺(tái)上使用此功能。這項(xiàng)新功能的使用非常簡(jiǎn)單–您可以按照如下示例，創(chuàng)建新的Amazon Glue Spark ETL作業(yè)或?qū)F(xiàn)有的Amazon Glue Spark ETL作業(yè)遷移到Glue版本2.0。

我創(chuàng)建了一個(gè)簡(jiǎn)單的Amazon Glue作業(yè)，以跨不同的Amazon S3存儲(chǔ)桶復(fù)制.csv文件。

AmazonGlue版本1.0

您可以看到Amazon Glue版本2.0的啟動(dòng)時(shí)間縮短了10倍。

AmazonGlue版本2.0

現(xiàn)已正式開放！

Amazon Glue 2.0已在提供Amazon Glue的所有區(qū)域開放。