如何使用AZCOPY同步Azure Blob 存儲

幾個月前，我寫了一篇關(guān)于如何使用AzCopy同步文件到Azure Blob存儲的博客。今天針對我在GitHub上使用AzCopy的一個問題，有了一個激動人心的更新。

Azure Blob<->Azure Blob(源必須包括共享訪問令牌SAS或者可公共訪問，對于目標(biāo)可以支持共享訪問令牌SAS或者OAuth認(rèn)證)

如何在Azure Blob存儲之間同步

作為準(zhǔn)備工作，您將需要安裝并設(shè)置AzCopy，或者在Azure Cloud Shell中使用AzCopy.

您可以使用下述命令將Azure blob存儲同步到另外一個Azure Blob中。該命令將僅僅同步發(fā)生變化和新建的文件。其比較文件的名稱和最后修改時間戳。

azcopy sync"https://[account].blob.core.windows.net/[container]/[path/to/blob]?[SAS]""https://[account].blob.core.windows.net/[container]/[path/to/blob]?[SAS]"

對于目標(biāo)，你既可以使用SAS或者OAuth。為了同步一個存儲賬號中的整個容器或者文件夾到另外一個賬號，你可以使用下述命令：

azcopy sync"https://[account].blob.core.windows.net/[container]?[SAS]""https://[account].blob.core.windows.net/[container]"

作為示例，這里我將從在北歐區(qū)的Azure存儲賬號的一個容器中的文件，復(fù)制到西歐區(qū)的另一個存儲賬號中。

我使用如下命令來實現(xiàn)：

azcopy sync"https://tomnortheurope.blob.core.windows.net/myfiles?[SAS]""https://tomwesteurope.blob.core.windows.net/destinationfiles?[SAS]"--recursive=true

您可以看到，在第一次運行時，它確實將所有文件從源存儲帳戶復(fù)制到了目標(biāo)位置。在第二次運行中，它沒有復(fù)制任何文件，因為文件已經(jīng)存在了。

下面是一系列可以使用的參數(shù)。您可以在微軟Docs上發(fā)現(xiàn)更多的關(guān)于AzCopy sync的命令。

-block-size-mb在上傳到Azure存儲或者從Azure存儲下載時，使用的塊尺寸(以MiB為單位)。默認(rèn)基于文件尺寸自動計算。支持使用十進制小數(shù)(例如：0.25)。

-check-md5字符串，指定在下載時，如何強制MD5散列值用于驗證。該選項僅在下載時可用。可用值包括：NoCheck,LogOnly,FailIfDifferent,FailIfDifferentOrMissing.(默認(rèn)值：‘FailIfDifferent’)。

-delete-destination字符串。定義是否刪除源中沒有提供的目標(biāo)中的其它文件?？梢栽O(shè)置為：true,false,或者prompt。如果設(shè)置為prompt，在刪除文件或者blob之前，用戶將被要求確認(rèn)(默認(rèn)false)。

-exclude-attributes字符串（僅Windows)，排除匹配文件屬性的文件。例如：A;S;R

-exclude-pattern字符串，排除匹配模板列表的文件，例如：.jpg;*.pdf;exactName

-h,–help使用幫助

-include-attributes字符串(僅Windows)，僅包含匹配文件屬性列表的文件。例如：A;S;R

-include-pattern字符串，僅包含匹配模板列表的文件。例如：.jpg;.pdf;exactName

–log-level字符串，定義日志文件的日志級別。可用的級別：INFO(所有的請求和響應(yīng))，WARNING(慢速響應(yīng))，ERROR(僅僅失敗的請求)，以及NONE(沒有輸出日志).(默認(rèn)INFO).(default“INFO”)

–put-md5對每個文件創(chuàng)建MD5散列，并保存將散列值作為目標(biāo)blob或文件的Content-MD5屬性。(默認(rèn)情況下，不創(chuàng)建散列)。僅在上傳時可用。

–recursive默認(rèn)為True，當(dāng)在目錄之間同步的時候，遞歸進入子目錄(默認(rèn)為true)。