Amazon S3添加4種適合不同用途的校驗和算法

來源: 十輪網(wǎng)
作者:十輪網(wǎng)
時間:2022-03-03
12167
AWS對象存儲服務(wù)Amazon S3,現(xiàn)在除了原本的MD5校驗和(Checksum)算法之外,額外添加4種校驗和算法,供用戶根據(jù)需求,選擇計算和存儲對象的校驗和,并且以校驗和檢查上傳與下載請求的完整性。

fcs_menu_1.jpg

AWS對象存儲服務(wù)Amazon S3,現(xiàn)在除了原本的MD5校驗和(Checksum)算法之外,額外添加4種校驗和算法,供用戶根據(jù)需求,選擇計算和存儲對象的校驗和,并且以校驗和檢查上傳與下載請求的完整性。目前新的4種校驗和算法,包括SHA-1、SHA-256、CRC-32和CRC-32C,已經(jīng)在所有商業(yè)AWS地區(qū)提供,用戶不需要支付額外費用就可以使用。

Amazon S3為了確認(rèn)對象正確地來回傳輸,會使用校驗和,也就是一種數(shù)字指紋,來驗證傳輸資料的正確性。S3的PutObject函數(shù)讓用戶能夠傳遞對象的MD5校驗和,并且只在用戶提供的值,和S3所計算出來的值相符合時,S3才會接受該操作。

雖然S3能夠使用MD5校驗和來偵測資料傳輸錯誤,但這也代表用戶在調(diào)用PutObject函數(shù)之前,或是調(diào)用GetObject函數(shù)之后,必須計算校驗和,官方提到,計算數(shù)GB甚至是數(shù)TB容量對象的校驗和,是一項運算密集的工作,可能導(dǎo)致作業(yè)上出現(xiàn)運算瓶頸,許多大型的S3用戶,甚至需要構(gòu)建專門的EC2機隊,來計算和驗證校驗和。

而AWS新提供的4種校驗和算法,將有助于緩解這樣的狀況,因為用戶將可以根據(jù)需求,選擇不同復(fù)雜度的算法,更快速地計算和存儲在S3中對象的校驗和,并使用校驗和高效率檢查上傳和下載請求,以實例特定產(chǎn)業(yè)數(shù)字保存的最佳實踐。當(dāng)用戶將對象上傳至S3時,便可選擇SHA-1、SHA-256、CRC-32和CRC-32C任一種校驗和算法。

由于最新版本的AWS SDK運算,需要在上傳的時候進行校驗和計算,并在上傳結(jié)束時,將其包含在HTTP Trailer中,用戶可以提供預(yù)先計算好的校驗和,AWS提到,結(jié)合校驗和與HTTP Trailer,可以大幅加速客戶端完整性檢查。

新的校驗和算法也可以用于多段對象上傳,AWS SDK現(xiàn)在支持平行處理,并在多段上傳中計算每段對象的校驗和,完整對象的校驗和,將會是所有部分校驗和的加總,而這個校驗和的校驗和,將會在對象傳輸完成時一并被上傳至S3。

經(jīng)驗證的校驗和以及指定使用的算法,都是對象元數(shù)據(jù)的一部分,當(dāng)對象請求使用KMS密鑰進行服務(wù)器端加密,則校驗和也會以加密的形式存儲,即便是對象更換了存儲類別,或是被更新版本取代,算法和校驗和會在整個生命周期中,和對象形影不離,同時校驗和也會在S3對象復(fù)制時一起被傳輸。用戶現(xiàn)在可以使用新的GetObjectAttributes函數(shù),以取得對象和每一部分的校驗和。

立即登錄,閱讀全文
版權(quán)說明:
本文內(nèi)容來自于十輪網(wǎng),本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
個人VIP