Storage Transfer Service 現(xiàn)在支持無服務(wù)器實(shí)時(shí)復(fù)制功能。
谷歌云的客戶希望利用存儲(chǔ)傳輸服務(wù) （STS） 提供的所有優(yōu)勢(shì)實(shí)時(shí)移動(dòng)數(shù)據(jù) - 調(diào)度、重試、校驗(yàn)和、詳細(xì)信息日志等。 為了在云存儲(chǔ)桶之間順利地復(fù)制數(shù)據(jù)，新推出的事件驅(qū)動(dòng)傳輸是一個(gè)極其強(qiáng)大的解決方案，幫助您自動(dòng)化數(shù)據(jù)傳輸和處理任務(wù)，從而節(jié)省時(shí)間和資源。此功能的另一個(gè)用例是跨云分析?？蛻粜枰獙?shù)據(jù)從 AWS S3 自動(dòng)實(shí)時(shí)復(fù)制到 Cloud Storage，以利用 Google Cloud 的分析和機(jī)器學(xué)習(xí)功能。
引入事件驅(qū)動(dòng)傳輸
STS 現(xiàn)在提供對(duì)事件驅(qū)動(dòng)傳輸?shù)念A(yù)覽支持——無服務(wù)器實(shí)時(shí)復(fù)制功能，可將副本從 AWS S3 移動(dòng)到云存儲(chǔ)，并在多個(gè)云存儲(chǔ)桶之間復(fù)制數(shù)據(jù)。
為了執(zhí)行事件驅(qū)動(dòng)傳輸，STS 依賴于 Pubsub 和 SQS?？蛻舯仨氃O(shè)置事件通知并授予 STS 訪問此隊(duì)列的權(quán)限。使用新字段 - “事件流” - 在傳輸作業(yè)中，客戶可以指定事件流名稱并控制 STS 何時(shí)開始和停止偵聽來自該流的事件。
創(chuàng)建傳輸作業(yè)后，STS 開始使用來自源的對(duì)象更改通知。任何對(duì)象更改或上傳現(xiàn)在都會(huì)觸發(fā)更改通知，服務(wù)會(huì)實(shí)時(shí)根據(jù)該通知將對(duì)象復(fù)制到目的地。對(duì)于在數(shù)據(jù)新鮮度具有重要業(yè)務(wù)價(jià)值的場(chǎng)景中使用 STS 批量傳輸?shù)目蛻魜碚f，這是個(gè)好消息：低 RPO 備份、事件驅(qū)動(dòng)分析、實(shí)時(shí)遷移等。對(duì)于批量傳輸，STS 從工作發(fā)現(xiàn)開始——列出源和最低頻率為 1 小時(shí)的目的地，這對(duì)于包含數(shù)十億個(gè)對(duì)象的桶來說可能很耗時(shí)。因此，對(duì)于大型存儲(chǔ)桶，在源中創(chuàng)建的新對(duì)象數(shù)小時(shí)內(nèi)不會(huì)反映在目標(biāo)中。相比之下，事件驅(qū)動(dòng)的傳輸可以在源創(chuàng)建和更改對(duì)象后的幾分鐘內(nèi)將數(shù)據(jù)復(fù)制到目標(biāo)。
通過事件驅(qū)動(dòng)的傳輸，您只需點(diǎn)擊幾下即可在存儲(chǔ)桶之間設(shè)置自動(dòng)、持續(xù)的數(shù)據(jù)復(fù)制。它具有一系列支持功能，包括基于前綴的過濾、處理重試、校驗(yàn)和、通過 Cloud Logging 的詳細(xì)傳輸日志以及通過 Cloud Monitoring 的進(jìn)度跟蹤。除了易于設(shè)置和使用之外，它還具有高度可擴(kuò)展性和靈活性，允許在同一項(xiàng)目的存儲(chǔ)桶之間、不同項(xiàng)目之間甚至不同云存儲(chǔ)區(qū)域和大洲之間復(fù)制數(shù)據(jù)。
配置事件驅(qū)動(dòng)傳輸
您可以通過三個(gè)步驟在 Cloud Storage 存儲(chǔ)桶之間創(chuàng)建事件驅(qū)動(dòng)的傳輸：- 創(chuàng)建一個(gè) pubsub 訂閱來監(jiān)聽 Cloud Storage 存儲(chǔ)桶上的變化
- 為 STS 分配權(quán)限以在存儲(chǔ)桶之間復(fù)制數(shù)據(jù)并收聽此 pubsub 訂閱
- 使用事件流配置創(chuàng)建傳輸作業(yè)
為了進(jìn)一步簡(jiǎn)化這一點(diǎn)，這里是如何使用gcloud 命令行工具使用事件驅(qū)動(dòng)傳輸?shù)难菥殹?nbsp;
首先，為源 Cloud Storage 存儲(chǔ)桶創(chuàng)建一個(gè)Pub/Sub 通知，并為主題創(chuàng)建一個(gè)請(qǐng)求訂閱：
將SOURCE_BUCKET_NAME替換為您的源存儲(chǔ)桶的名稱，將TOPIC_NAME替換為您要?jiǎng)?chuàng)建的主題的名稱，將SUBSCRIPTION_ID替換為您要?jiǎng)?chuàng)建的訂閱的名稱。STS 將使用此訂閱來讀取有關(guān)源存儲(chǔ)桶中對(duì)象更改的消息。
STS 使用Google 托管服務(wù)帳戶在 Cloud Storage 存儲(chǔ)桶之間執(zhí)行傳輸。對(duì)于新項(xiàng)目，可以通過調(diào)用googleServiceAccounts.get API 來配置此服務(wù)帳戶。確保分配以下角色或等效權(quán)限：
最后一步，使用 EventStream 配置創(chuàng)建一個(gè)事件驅(qū)動(dòng)的傳輸作業(yè)。傳輸作業(yè)根據(jù)從源生成的事件通知協(xié)調(diào)源和目標(biāo)之間的數(shù)據(jù)移動(dòng)，
將SOURCE _ BUCKET_NAME替換為源存儲(chǔ)桶的名稱，將 DESTINATION _ BUCKET _ NAME 替換為目標(biāo)存儲(chǔ)桶的名稱，將 SUBSCRIPTION _ ID 替換為訂閱 ID，格式為 projects / / subscriptions / 。這會(huì)創(chuàng)建一個(gè)傳輸作業(yè)，等待 Pub / Sub 訂閱的通知，并在收到源 Cloud Storage 存儲(chǔ)桶更改通知后的幾分鐘內(nèi)復(fù)制數(shù)據(jù)。
如何開始
STS 事件驅(qū)動(dòng)傳輸在所有 Google Cloud 區(qū)域均可用。執(zhí)行傳輸?shù)膮^(qū)域基于源 Cloud Storage 存儲(chǔ)分區(qū)的區(qū)域。使用 Storage Transfer Service 事件驅(qū)動(dòng)傳輸無需支付額外費(fèi)用。
立即登錄，閱讀全文
谷歌云
專欄
甲骨文公司 （NYSE：ORCL） 創(chuàng)立于 1977 年，總部位于美國(guó)德克薩斯州。甲骨文公司是一家全球性的企業(yè)云技術(shù)提供商，致力于賦能各種規(guī)模的企業(yè)的數(shù)字化轉(zhuǎn)型。甲骨文公司提供自治數(shù)據(jù)庫(kù)、大數(shù)據(jù)、分析及機(jī)器學(xué)習(xí)等高科技產(chǎn)品，及在銷售、服務(wù)、市場(chǎng)營(yíng)銷、人力資源、財(cái)務(wù)、供應(yīng)鏈和生產(chǎn)制造等基于云技術(shù)平臺(tái)的集成應(yīng)用。
閩公網(wǎng)安備 35010202001226號(hào)
