阿里云OSS成本優(yōu)化指南

OSS是什么

對(duì)象存儲(chǔ)OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高持久的云存儲(chǔ)服務(wù)。OSS可用于圖片、音視頻、日志等海量文件的存儲(chǔ)。各種終端設(shè)備、Web網(wǎng)站程序、移動(dòng)應(yīng)用可以直接向OSS寫(xiě)入或讀取數(shù)據(jù)。同時(shí)，OSS也提供原生的傳輸加速功能，支持上傳加速、下載加速、提升跨國(guó)、跨洋數(shù)據(jù)上傳、下載的體驗(yàn)。也可以結(jié)合CDN產(chǎn)品，提供靜態(tài)內(nèi)容存儲(chǔ)、分發(fā)到邊緣節(jié)點(diǎn)的解決方案，利用CDN邊緣節(jié)點(diǎn)緩存的數(shù)據(jù)，提升同一個(gè)文件被同一地區(qū)客戶(hù)大流量重復(fù)并發(fā)下載的體驗(yàn)。除此以外，上傳文件到OSS后，可以配合媒體處理服務(wù)和圖片福利進(jìn)行云端的數(shù)據(jù)處理。

問(wèn)題與挑戰(zhàn)

除了阿里云以外、無(wú)論是使用過(guò)AWS、微軟云還是別的云廠商，云上托管對(duì)象存儲(chǔ)服務(wù)在管理上通常都面臨類(lèi)似的問(wèn)題。由于對(duì)象存儲(chǔ)使用太過(guò)便捷，對(duì)于管理員來(lái)說(shuō)，僅僅是將對(duì)應(yīng)的存儲(chǔ)桶（Bucket）權(quán)限或是Access Key給到對(duì)應(yīng)的研發(fā)團(tuán)隊(duì)，由于不同的業(yè)務(wù)場(chǎng)景以及存儲(chǔ)對(duì)象類(lèi)型的差異，無(wú)法簡(jiǎn)單地使用通用策略管理，因此也很難做到精細(xì)化管理。

阿里云OSS提供標(biāo)準(zhǔn)、低頻訪問(wèn)、歸檔和冷歸檔四種不同的存儲(chǔ)類(lèi)型，每種類(lèi)型的性能和價(jià)格均不一樣；不同的存儲(chǔ)類(lèi)型又分為本地冗余及同城冗余；同時(shí)還要考慮不同的業(yè)務(wù)場(chǎng)景是否需要對(duì)存儲(chǔ)對(duì)象開(kāi)啟版本控制功能增加生命周期管理。

對(duì)于OSS來(lái)說(shuō)，如何在保證數(shù)據(jù)可靠性、符合業(yè)務(wù)場(chǎng)景的前提下，選擇適合的配置模式。

成本分析

在許多的領(lǐng)域OSS可以作為云上共享存儲(chǔ)的替代方案使用，諸如用戶(hù)上傳存儲(chǔ)圖片、PDF等。在存儲(chǔ)成本及可靠性成本具備天然優(yōu)勢(shì)。其次，由于OSS支持CRUD操作，也使得研發(fā)人員能夠非常方便地管理Bucket中的對(duì)象。

OSS的成本在大多數(shù)時(shí)候相較于ECS、RDS等云上資源并不會(huì)引起特別注意，也因此對(duì)于OSS的精細(xì)化管理沒(méi)有投入許多精力的原因之一。而事實(shí)上，在許多數(shù)據(jù)分析場(chǎng)景如AI算法、大數(shù)據(jù)分析等，當(dāng)數(shù)據(jù)量達(dá)到PB級(jí)別，若沒(méi)有針對(duì)對(duì)應(yīng)Bucket做任何的控制策略，一年在阿里云上的存儲(chǔ)成本將達(dá)到150萬(wàn)的支出。在理解如何優(yōu)化OSS成本之前，先來(lái)看下所需具備阿里云OSS的相關(guān)知識(shí)。

存儲(chǔ)類(lèi)型

對(duì)象存儲(chǔ)OSS提供標(biāo)準(zhǔn)、低頻訪問(wèn)、歸檔、冷歸檔四種存儲(chǔ)類(lèi)型，全面覆蓋從熱到冷的各種數(shù)據(jù)存儲(chǔ)場(chǎng)景。

• 標(biāo)準(zhǔn)存儲(chǔ)（Standard）
  

提供高可靠、高可用、高性能的對(duì)象存儲(chǔ)服務(wù)，能夠支持頻繁的數(shù)據(jù)訪問(wèn)。適用于各種社交、分享類(lèi)的圖片、音視頻應(yīng)用、大型網(wǎng)站、大數(shù)據(jù)分析等業(yè)務(wù)場(chǎng)景。

• 低頻訪問(wèn)（Infrequent Access）

提供高持久性、較低存儲(chǔ)成本的對(duì)象存儲(chǔ)服務(wù)。有最低存儲(chǔ)時(shí)間（30天）和最小計(jì)量單位（64 KB）要求。支持?jǐn)?shù)據(jù)實(shí)時(shí)訪問(wèn)，訪問(wèn)數(shù)據(jù)時(shí)會(huì)產(chǎn)生數(shù)據(jù)取回費(fèi)用，適用于較低訪問(wèn)頻率（平均每月訪問(wèn)頻率1到2次）的業(yè)務(wù)場(chǎng)景。

• 歸檔存儲(chǔ)（Archive）

提供了高持久性、極低存儲(chǔ)成本的對(duì)象存儲(chǔ)服務(wù)。有最低存儲(chǔ)時(shí)間（60天）和最小計(jì)量單位（64 KB）要求。數(shù)據(jù)需解凍（約1分鐘）后訪問(wèn)，解凍會(huì)產(chǎn)生數(shù)據(jù)取回費(fèi)用。適用于數(shù)據(jù)長(zhǎng)期保存的業(yè)務(wù)場(chǎng)景，例如檔案數(shù)據(jù)、醫(yī)療影像、科學(xué)資料、影視素材等。

• 冷歸檔存儲(chǔ)（Cold Archive）

提供了高持久性的對(duì)象存儲(chǔ)服務(wù)，存儲(chǔ)費(fèi)用在四種存儲(chǔ)類(lèi)型中最低。有最低存儲(chǔ)時(shí)間（180天）和最小計(jì)量單位（64 KB）要求。數(shù)據(jù)需解凍后訪問(wèn)，解凍時(shí)間根據(jù)數(shù)據(jù)大小和選擇的解凍模式?jīng)Q定，解凍會(huì)產(chǎn)生數(shù)據(jù)取回費(fèi)用。適用于需要超長(zhǎng)時(shí)間存放的極冷數(shù)據(jù)，例如因合規(guī)要求需要長(zhǎng)期留存的數(shù)據(jù)、大數(shù)據(jù)及人工智能領(lǐng)域長(zhǎng)期積累的原始數(shù)據(jù)、影視行業(yè)長(zhǎng)期留存的媒體資源、在線教育行業(yè)的歸檔視頻等業(yè)務(wù)場(chǎng)景。

費(fèi)用組成

OSS服務(wù)費(fèi)用由存儲(chǔ)費(fèi)用、流量費(fèi)用、請(qǐng)求費(fèi)用、數(shù)據(jù)處理費(fèi)用、對(duì)象標(biāo)簽費(fèi)用、傳輸加速費(fèi)用、臨時(shí)存儲(chǔ)費(fèi)用、DDoS防護(hù)費(fèi)用組成：

其中，存儲(chǔ)費(fèi)用、流量費(fèi)用通常是OSS的主要費(fèi)用構(gòu)成，如不對(duì)各功能實(shí)現(xiàn)的計(jì)費(fèi)方式了解透徹，易于在不同場(chǎng)景實(shí)現(xiàn)的組合下收取相應(yīng)的成本。

定價(jià)詳情

存儲(chǔ)費(fèi)用根據(jù)存儲(chǔ)類(lèi)型的不同，分為標(biāo)準(zhǔn)型單價(jià)、低訪問(wèn)型單價(jià)、歸檔型單價(jià)、冷歸檔單價(jià)四種?；诓煌母呖捎脠?chǎng)景又分為本地冗余和同城冗余。

OSS在本地冗余存儲(chǔ)的模式下，數(shù)據(jù)持久性設(shè)計(jì)可達(dá)11個(gè)9（四種模式），同城冗余則提供12個(gè)9的數(shù)據(jù)持久性，差別不大。本地冗余和同城冗余的主要區(qū)別在于能夠提供更高的服務(wù)可用性，以標(biāo)準(zhǔn)存儲(chǔ)類(lèi)型為例，本地冗余的可用性為99.99%，而同城冗余的可用性達(dá)99.995%。如果服務(wù)可用性有較高要求的，可采用同城冗余方案提升系統(tǒng)可用性指標(biāo)。

OSS對(duì)象存儲(chǔ)的流量計(jì)費(fèi)，通過(guò)內(nèi)、外網(wǎng)上傳到OSS不收取任何費(fèi)用，從同地域ECS（包括其它云服務(wù)）使用內(nèi)網(wǎng)Endpoint，下載OSS的數(shù)據(jù)時(shí)同樣也不收取費(fèi)用。主要的流量部分包括外網(wǎng)流出流量及CDN流出流量。

外網(wǎng)流出流量根據(jù)時(shí)段分為閑時(shí)流量(00:00-08:00)及忙時(shí)流量（8:00-24:00)收取0.25元/GB和0.5元/GB費(fèi)用不等。

除此以外，若有跨可用區(qū)復(fù)制需求，如異地災(zāi)備或數(shù)據(jù)同步場(chǎng)景，根據(jù)不同的地域收費(fèi)策略略有差異，具體金額以官網(wǎng)為準(zhǔn)。

成本優(yōu)化

在了解了OSS的具體收費(fèi)場(chǎng)景之后，便可以有針對(duì)性的對(duì)OSS不同的使用場(chǎng)景有針對(duì)性的優(yōu)化配置，降低整體成本。

元數(shù)據(jù)管理

首先依然是成本優(yōu)化的基礎(chǔ)，如何分好賬。這里可以使用到標(biāo)簽管理體系，為對(duì)應(yīng)的Bucket添加“部門(mén)”、“創(chuàng)建人”、“產(chǎn)品”、“系統(tǒng)”、“環(huán)境”等標(biāo)簽?？筛鶕?jù)標(biāo)簽，針對(duì)特定不同的業(yè)務(wù)場(chǎng)景配置不同的策略模板。在很大的程度上，可以提升管理的精細(xì)化程度上。

版本控制策略

版本控制是針對(duì)存儲(chǔ)空間（Bucket）級(jí)別的數(shù)據(jù)保護(hù)功能。開(kāi)啟版本控制后，針對(duì)數(shù)據(jù)的覆蓋和刪除操作將會(huì)以歷史版本的形式保存下來(lái)。當(dāng)錯(cuò)誤覆蓋或者刪除Object后，能夠?qū)ucket中存儲(chǔ)的Object恢復(fù)至任意時(shí)刻的歷史版本。

版本控制功能本身不收取任何費(fèi)用，但對(duì)當(dāng)前版本和所有歷史版本的文件都會(huì)收取存儲(chǔ)費(fèi)用。以下列場(chǎng)景為例，說(shuō)明使用版本控制時(shí)的存儲(chǔ)費(fèi)用（假定當(dāng)月有30天）：

當(dāng)月第1天：通過(guò)PutObject操作向某一存儲(chǔ)空間（Bucket）上傳了4 GB大小的Object，存儲(chǔ)類(lèi)型為標(biāo)準(zhǔn)存儲(chǔ)（本地冗余）。當(dāng)月第16天：通過(guò)PutObject操作對(duì)同一個(gè)Bucket中的同一個(gè)Object寫(xiě)入5 GB的數(shù)據(jù)。

分析上述Object當(dāng)月的存儲(chǔ)費(fèi)用時(shí)，請(qǐng)注意在第16天對(duì)Object寫(xiě)入5 GB數(shù)據(jù)時(shí)，第1天上傳的4 GB的Object并未從Bucket中刪除。相反，4 GB作為Object的歷史版本在Bucket中存儲(chǔ)了30天，而5 GB作為Object的最新版本在Bucket中存儲(chǔ)了15天。按照存儲(chǔ)費(fèi)用的按量付費(fèi)計(jì)算規(guī)則得知，該Object當(dāng)月的存儲(chǔ)費(fèi)用為：4 GB×0.12元/GB/月+5 GB×0.12元/GB/月÷2=0.78元。

從上例中可以看到，當(dāng)存儲(chǔ)對(duì)象版本足夠多時(shí)，存儲(chǔ)容量的增長(zhǎng)將翻倍增長(zhǎng)。在使用上，如果存放靜態(tài)圖片需要做更新、刪除等動(dòng)作，建議開(kāi)啟版本控制，確保不會(huì)對(duì)數(shù)據(jù)誤操作。但版本控制功能不支持基于一定的版本數(shù)量對(duì)過(guò)期數(shù)據(jù)維護(hù)清理，只支持按照時(shí)間頻率歸檔清理，故對(duì)于歷史版本時(shí)效性要做一定的人工判斷。

生命周期管理

OSS支持設(shè)置生命周期（Lifecycle）規(guī)則，自動(dòng)刪除過(guò)期的文件和碎片，或?qū)⒌狡诘奈募D(zhuǎn)儲(chǔ)為低頻或歸檔存儲(chǔ)類(lèi)型，從而節(jié)省存儲(chǔ)費(fèi)用。在訪問(wèn)對(duì)象存儲(chǔ)OSS的過(guò)程中，會(huì)產(chǎn)生大量的訪問(wèn)日志，其中包括了請(qǐng)求目標(biāo)Bucket和對(duì)應(yīng)Object名稱(chēng)的具體訪問(wèn)時(shí)間。

針對(duì)訪問(wèn)頻次較低的數(shù)據(jù)，建議設(shè)置低頻、歸檔生命周期，實(shí)現(xiàn)bucket級(jí)別的治理。對(duì)于Bucket訪問(wèn)頻次高，但是objcet訪問(wèn)分布差異較大的數(shù)據(jù)，建議進(jìn)行Object級(jí)別治理，可以按照訪問(wèn)情況或者更新日期策略進(jìn)行治理。也可以通過(guò)前綴等方式進(jìn)行重要文件篩選。

通過(guò)將不同生命周期的數(shù)據(jù)差別化存放在不同的存儲(chǔ)類(lèi)型，可有效降低數(shù)OSS的存儲(chǔ)成本。假設(shè)當(dāng)前有1PB的數(shù)據(jù)存儲(chǔ)在阿里云OSS上，在不做任何管理的情況下，一年成本將會(huì)是1*1024*1024*0.12/元/月*12=151萬(wàn)支出。在做了優(yōu)化之后，當(dāng)數(shù)據(jù)按照生命周期歸檔之后，OSS上的存儲(chǔ)成本1*1024*1024*0.015/元/月之后，約為18萬(wàn)8，降低成本百萬(wàn)以上。

流量費(fèi)用

流量費(fèi)用的開(kāi)銷(xiāo)主要來(lái)源于外網(wǎng)流出流量。對(duì)于業(yè)務(wù)層面的必要操作不可避免，可考慮優(yōu)化的場(chǎng)景主要有異地災(zāi)備場(chǎng)景，將數(shù)據(jù)同步放在空閑時(shí)段執(zhí)行可降低一半流量成本。

另外關(guān)于CDN的回源流量這部分，在沒(méi)有配置緩存策略的情況下，CDN的默認(rèn)緩存時(shí)間為[10,3600]秒內(nèi)。即10秒-1小時(shí)的緩存時(shí)間。具體的緩存時(shí)間計(jì)算公式為：t= (current_time - last_modified) * 0.1。換句話說(shuō)：當(dāng)文件上傳OSS時(shí)間超過(guò)10小時(shí)（36000秒）后，文件被緩存時(shí)間將開(kāi)始以每小時(shí)一次的頻率刷新。

可基于具體需求場(chǎng)景對(duì)特定的不會(huì)做更新操作的諸如圖片、視頻、語(yǔ)音等靜態(tài)數(shù)據(jù)在CDN上設(shè)置較長(zhǎng)的緩存時(shí)間，如1天或1個(gè)月，降低CDN的回源流量。

購(gòu)買(mǎi)資源包

存儲(chǔ)容量單位包SCU（Storage Capacity Unit）是一種預(yù)付費(fèi)存儲(chǔ)容量資源包，可用于抵扣多種云存儲(chǔ)產(chǎn)品存儲(chǔ)容量費(fèi)用。相比其他單一產(chǎn)品的存儲(chǔ)包，SCU使用更靈活，性?xún)r(jià)比更高。

資源包類(lèi)型包括標(biāo)準(zhǔn)（本地/同城）存儲(chǔ)包、低頻（本地/同城）存儲(chǔ)包、歸檔存儲(chǔ)包、下行流量包、回源流量包和傳輸加速包這八種。

• 標(biāo)準(zhǔn)（本地/同城）存儲(chǔ)包、低頻（本地/同城）存儲(chǔ)包、歸檔存儲(chǔ)包：主要指存儲(chǔ)空間內(nèi)存放的標(biāo)準(zhǔn)存儲(chǔ)類(lèi)型文件所產(chǎn)生的存儲(chǔ)費(fèi)用。

• 下行流量包：外網(wǎng)流出流量費(fèi)用：通過(guò)互聯(lián)網(wǎng)瀏覽或下載OSS數(shù)據(jù)所產(chǎn)生的外網(wǎng)流出流量費(fèi)用。

• 回源流量包：CDN回源流出流量費(fèi)用：通過(guò)CDN服務(wù)層瀏覽或下載OSS數(shù)據(jù)所產(chǎn)生的回源流量費(fèi)用。

• 傳輸加速包：使用傳輸加速域名訪問(wèn)OSS產(chǎn)生的傳輸加速費(fèi)用。

資源包使用示例：

用戶(hù)小A購(gòu)買(mǎi)了500 GB的中國(guó)大陸通用標(biāo)準(zhǔn)（LRS）存儲(chǔ)包和100 GB的中國(guó)大陸通用下行流量包，其6月份的資源使用量為：

• 華東1（杭州）地域當(dāng)月標(biāo)準(zhǔn)存儲(chǔ)（本地冗余）類(lèi)型文件存儲(chǔ)量為300 GB、外網(wǎng)流出流量110 GB、API請(qǐng)求次數(shù)10萬(wàn)次。

• 華東2（上海）地域當(dāng)月標(biāo)準(zhǔn)存儲(chǔ)（本地冗余）類(lèi)型文件存儲(chǔ)量為100 GB、標(biāo)準(zhǔn)存儲(chǔ)（同城冗余）類(lèi)型文件存儲(chǔ)量為200 GB。

關(guān)于資源包的購(gòu)買(mǎi)需要注意以下細(xì)節(jié)：

• 購(gòu)買(mǎi)OSS資源包后，僅對(duì)于增量的存儲(chǔ)數(shù)據(jù)生效，存量數(shù)據(jù)不在資源包統(tǒng)計(jì)范圍之內(nèi)。

• 由于資源包的使用邏輯僅對(duì)增量數(shù)據(jù)有效，若在初期購(gòu)買(mǎi)較大資源包將同樣存在大量時(shí)效性的浪費(fèi)。建議在前期購(gòu)買(mǎi)規(guī)格較小資源包，通過(guò)疊加和升級(jí)方式對(duì)資源包的容量擴(kuò)容。疊加和升級(jí)方式在細(xì)節(jié)層面有所不同，疊加可在原資源包的基礎(chǔ)上購(gòu)買(mǎi)相同規(guī)格累加；升級(jí)則僅可購(gòu)買(mǎi)更高規(guī)格。對(duì)于不同的類(lèi)型資源包的支持邏輯不完全一致?？蓞⒖脊倬W(wǎng)材料。

• 資源包抵扣規(guī)則只能在同賬號(hào)下使用，不可跨賬號(hào)使用。

• 資源包使用對(duì)應(yīng)賬號(hào)全量bucket，不對(duì)應(yīng)bucket關(guān)聯(lián)，只要符合資源包抵扣規(guī)則的均會(huì)生效。

該用戶(hù)資源包使用情況如下：

總結(jié)

本文總結(jié)了阿里云OSS成本優(yōu)化的相關(guān)方法。了解阿里云OSS對(duì)象存儲(chǔ)的計(jì)費(fèi)方式，分析在各場(chǎng)景下如何通過(guò)不同存儲(chǔ)類(lèi)型轉(zhuǎn)換、對(duì)象生命周期管理、版本控制策略、增加CDN緩存時(shí)間，結(jié)合OSS資源包降低OSS整體使用成本。