如果你的公司和大多數公司一樣,你的AWS帳單上的主要項目是EC2(計算)和S3(儲存)。在像生物科技這樣的數據密集型領域,你避免雲端成本失控的第一件事是提醒你的工程師們不要在週末讓他們的96核心CPU機器閒置(你做的第二件事是寫一個腳本來提醒他們,以免一個週末變成一個月)。然而,與虛擬機不同,你不能只是“關閉”儲存,你必須翻遍數以兆計的數據,並決定是否有任何數據值得保留的成本。
雖然評估在S3上每GB存儲數據的成本相對容易,但估算出雲(從雲端下載數據)的成本卻一點也不容易,正如Duckbill Group這張混亂的圖表所示:
出口的問題
我一直對出口流量感到驚訝的是,它的價格竟然如此昂貴。在AWS上,從S3下載一次文件到你的電腦的費用,竟然比儲存它一整個月的費用還要高出4倍;在Google雲端,這個價格甚至高出6倍。
但當你得知頻寬實際上對雲端供應商的成本並不高時,驚訝便轉變為失望。事實上,AWS對從他們的雲端移出數據的收費標準高達原價的8000%,這無疑是一種確保用戶在存儲數據的同一平台上分析數據的有效方式。
因此,當你與合作夥伴分享數據、將數據複製到同一雲端的其他服務,或者——天哪——在不同的雲端分析數據時,你必須要小心。避免出口流量的唯一方法是在同一雲端提供商的同一區域內移動數據。即使如此,如果你有一個帶有私有子網的VPC,也要小心避免額外的每TB 45美元的出口流量費用¯\_(ツ)_/¯。
這就是為什麼Cloudflare R2如此令人耳目一新:您可以以比S3更便宜的價格獲得雲存儲(R2的費用為 15/TB/mo,S3costs 每TB每月23美元),而且更重要的是,沒有出口費用: 0insteadof 每TB 90美元!
如果這還不夠,R2的數據可免費分佈到全世界(Cloudflare的使用者介面喜歡指出的"地區:地球")。在其他的雲端設置這樣的服務將會花費一大筆錢。
試駕R2:有什麼陷阱?
作為比較,我在S3上運行了相同的查詢,使用的是在AWS開放數據註冊處免費托管的相同數據,順便說一句,你可以在不提供你的S3憑證的情況下進行查詢,所以你可以更確定避免出現計費驚喜(出口流量是令人疲憊的)。
出口流量真的是免費的嗎?
是的,我在R2上下載了3.2 TB的出口流量,卻一分錢都沒有支付。僅這個小實驗在AWS上就會花費我300美元😬。
它慢嗎?
不,恰恰相反!在我本地的電腦上,我從R2看到的下載速度為48MB/s。在S3上,我看到的下載速度為35MB/s,但是該存儲桶位於 us-east-1
,而我住得更靠近 us-west
,這可能是原因(這就是為什麼擁有R2的分佈式存儲是有用的另一個原因)。請記住:這是我在幾個下午運行測試時觀察到的,這些測試涉及的文件大小範圍從1GB到15GB,所以你的實際情況可能會有所不同。
難以使用嗎?
並非如此。與其他供應商一樣,R2提供了一個與S3相容的API,因此您可以繼續使用 aws
命令行工具,只是端點URL有所不同:
別名 aws=“aws –endpoint-url https://.r2.cloudflarestorage.com”
有任何限制嗎?
R2 目前處於公開測試版,因此尚未支援像是公開桶子等功能。為了解決這個問題,我設置了一個 Cloudflare Worker,用於從 R2 流傳數據 —— 有賴於 render 套件,這一切都變得非常容易。
另一個限制是,儘管R2是分散的,但在測試版期間,數據將主要儲存在北美,因此其他地區的下載速度將會有所不同。
親自試試看
如果您想親自試試看,請登入您的Cloudflare儀表板並啟用R2。
或者,您可以從我在我的R2桶中托管的端粒至端粒項目下載一些基因組數據,網址為https://r2-article.robert.workers.dev(如果數據是在S3上托管的話,我就不會分享這個鏈接了 )。
總結
總的來說,我對R2感到非常興奮。一個能提供快速、可靠且分散的儲存服務,且不收取出口費用的雲端供應商,實在是一種令人欣喜的變化。
我特別期待看到R2如何在我自己的生物信息學領域中被接納,它將使數據共享變得更加容易,並且計算將不再受限於數據所在的位置!
當然,這不僅僅是生物信息學的變革,對於任何數據密集型領域,或者任何出口資產占雲計算賬單大部分的應用程序,這都是一個遊戲規則的改變者,例如所有的音頻和視頻分享平台。
替代性雲端儲存服務提供商
最後,我將提及一些其他您可能感興趣的儲存服務提供商。
其中一個供應商是Wasabi,其儲存費用更為便宜(每TB 5.9美元),且無出口費用。然而,我想指出一些並非一眼就能看出的注意事項。首先,Wasabi有最低儲存政策,所以如果你上傳一個檔案並立即刪除它,你仍需要支付90天的儲存費用。此外,Wasabi的免費出口政策並非無限制;只有在你下載的數據量與你儲存的數據量大致相同時,才能免費,所以平均來說,你每個月只能免費下載你的數據一次。
另一個選擇是BackBlaze B2,其提供 5/TBstorageand 每TB 10美元的出口費用。雖然出口費用較高,但一個鮮為人知的事實是,Cloudflare和BackBlaze有一項協議,即通過Cloudflare從BackBlaze流出的數據將不會產生任何出口費用。我過去曾經透過Cloudflare Worker流出B2數據,真的有效!如果你正在尋找存儲數據的最便宜方式,並且不需要R2提供的額外性能/分散性,那麼這是一個好的選擇。