混合雲端儲存組合拳：基於雲端儲存閘道器與混合雲備份的OSS備份方案
- 前言
阿里雲物件儲存（OSS）使用者眾多。很多使用者因為業務或者合規性需求，需要對OSS內的資料做備份，無論是線上備份，還是線下備份。使用者可以選擇使用OSS的開放API，按照業務需求，做資料的備份，也可以選擇OSS已有的服務進行資料備份，比如OSS的跨域複製。但是，前一種方式，存在易用性和備份效率問題；後一種方式，只是將資料存雙份或者多份，無法有效規避原始資料出問題後，被複制的那份資料也出問題的風險。本文介紹的基於雲端儲存閘道器和混合雲備份的OSS備份方案，不僅能保證OSS資料按策略的多版本備份，而且配置簡單，效能好，效率高，成本低。
- 基於雲端儲存閘道器和混合雲備份的OSS備份
以下是基於混合雲產品的OSS備份方案架構圖。首先，通過一臺雲端儲存閘道器將OSS bucket中的檔案反向同步至閘道器快取中；在一臺ECS上掛載雲端儲存閘道器的目錄，並安裝混合雲備份agent；最後，配置混合雲備份策略和任務即可方便地將儲存閘道器中的檔案多版本的備份在雲災備庫中。
基於混合雲產品的OSS備份架構圖
- 實施與配置
首先，使用者需要登陸阿里雲控制檯，開通雲端儲存閘道器服務 。此處需要注意一點：出於備份效能和效率的考慮，雲端儲存閘道器和之後的混合雲備份的區域應該跟備份源端OSS所在的區域一致。
這裡我們建立一個性能型的雲端儲存閘道器，保證OSS資料同步到雲端儲存閘道器，以及後續雲端儲存閘道器上的資料備份到災備庫的頻寬和效能有保障。當然，使用者完全可以根據OSS內的資料總大小和增速，檔案數目，單個檔案的大小來決定選用哪種型別的雲端儲存閘道器。
建立雲端儲存閘道器
建立完成之後，進入閘道器的管理配置頁面，進行簡單的三步配置：快取設定，雲資源設定和掛載目錄設定。
雲端儲存閘道器管理頁面
快取設定是將閘道器的快取配置生效的過程。點選建立，選擇可用的快取盤即可完成建立。
快取設定
雲資源設定是將OSS bucket與雲端儲存閘道器連線的過程。使用者只需要選擇同步的bucket名稱即可。雲端儲存閘道器支援SSL加密連線OSS，保證資料傳輸的安全。
雲資源設定
目錄設定是對客戶端提供掛載目錄的過程。雲端儲存閘道器支援NFS和CIFS兩種通用的NAS協議。這裡我們配置NFS掛載目錄。需要注意的一個配置項是‘反向同步’。因為我們需要將OSS bucket內的檔案同步至雲端儲存閘道器上，因此，反向同步需要選擇‘是’。另外，‘模式’保持預設的‘快取模式’。這樣雲端儲存閘道器只保留熱資料及冷資料的元資料。而同步模式則是快取盤大小和雲上OSS的檔案總大小保持一致。注意到高階設定中有‘方向同步時間間隔’一項，它的作用是讓閘道器每隔多久去OSS拉去最新的檔案，並同步到閘道器上。放在整個方案中考慮，該選項無需設定的很短，因為之後的混合雲備份是按照小時或者天級別來定義週期性備份的，所以比較合理的設定是讓雲端儲存閘道器以小時級去反向同步OSS的資料。
NFS目錄配置
至此，雲端儲存閘道器上的配置就全部結束了。接下來，需要申請一臺ECS來掛載雲端儲存閘道器提供的NFS目錄。這裡申請一臺內網頻寬高的ECS與高效能閘道器的頻寬匹配。之後，就可以去開通混合雲備份了。開通之後，選擇好區域之後，也只需要簡單的三步即可：建立備份庫，下載安裝備份agent和備份策略和任務的配置。
建立備份庫，十分簡單：給備份倉庫取名字，確定備份型別和下載客戶端和證書。
建立備份倉庫
選擇備份型別
新增客戶端
下載客戶端和證書
將下載完成的客戶端軟體上傳至之前申請的Linux ECS上，解壓並安裝。
上傳並安裝備份客戶端
安裝完成之後，在瀏覽器上開啟這個URL： http://< 雲主機公網IP>:8011。之後，會彈出備份客戶端的註冊頁面。需要使用者輸入之前下載的證書（註冊和連線備份源和備份倉庫的鑰匙），AK認證資訊和客戶端登陸密碼。因為備份的整個鏈路都在阿里雲網內，所以網路型別需要選擇‘專有網路(VPC)’。
備份客戶端註冊頁面
註冊成功之後，使用者就能看到客戶端備份頁面。該頁面是使用者建立備份和恢復資料的入口。在備份之前，記得要將雲端儲存閘道器的NFS目錄掛載在這臺ECS上。再回到備份客戶端頁面，可以先建立一個計劃備份（立即備份是隻備份一次，計劃備份是按策略週期性的備份）。建立計劃備份需要先建立一個備份策略。這裡定義一個每天下午5點半開始的備份策略。備份資料會在備份庫中儲存2年的時間。
建立備份策略
接下來就是建立備份了。將ECS的掛載目錄輸入到源地址中，選擇‘計劃備份’和之前建立的備份策略，提交即可。
建立計劃備份
提交之後，就看到了備份任務。看詳情的話，就知道上次備份的狀況和下次備份的時間。
計劃備份詳情
當時間到了之後，備份就會被自動觸發。可以看到備份任務正在掃描檔案總數和資料總量，並實時地顯示備份速度。
執行中的計劃備份任務
下圖是備份過程中的一些統計。需要指出的是狀態中的進度百分比會出現抖動，有時候會低於之前的進度。這是因為在統計備份進度的時候，是根據已備份的資料佔總計備份檔案的比例。因為雲端儲存閘道器在不停地反向同步OSS的檔案，這樣就會在掃描檔案的時候，出現備份檔案的效能跟掃描檔案效能交替的情況，導致使用者看到的進度不是一直遞增的。有些時候會出現進度變成了100%，但實際上，雲端儲存閘道器馬上又會同步很多新檔案給備份服務去備份，進度又會變成90%多。
掃描完成後的計劃備份任務
OSS上的檔案數和儲存空間統計
在備份進行中，還可以去雲端儲存閘道器的監控頁面檢視快取和網路吞吐效能。從下圖可以看出來，閘道器從下午5點鐘的時候就一致在持續從OSS中讀取檔案到被備份的ECS所讀取。
雲端儲存閘道器效能圖
等待備份完成，可以看到這次備份的檔案總數，和上面OSS控制檯看到的檔案數目是一致的。另外，就是使用者最為關心備份效能，44.88MB/s。通過檔案總大小和總數計算出，檔案的平均大小為6.8MB左右，屬於中等偏下的檔案規格。考慮到很多目錄結構很深，這樣的備份效能是十分不錯的。另外，因為雲端儲存閘道器反向同步寫磁碟和備份服務讀磁碟，對於200G的快取盤而言，也接近瓶頸了。如果使用者的備份資料量比較大，單個檔案比較大，並且還想提高備份效能，可以增加快取盤的容量來實現。
備份完成
還可以去控制檯的混合雲備份頁面檢視控制檯上的備份倉庫資訊。可以看到進行了1次備份，也成功了。關鍵的資訊是右側的原始資料和實際佔比。可以看到經過混合雲備份後的資料，實際佔用是1.31TB，小於原始資料的大小，因為混合雲備份在將備份資料寫到備份庫的時候，對資料做了重刪壓縮。
備份庫資訊
- 總結
雲端儲存閘道器和混合雲備份服務搭配的OSS備份方案是一款雲原生的OSS備份方案，可以在阿里雲控制檯一站搞定。整個方案不僅可以滿足OSS使用者對於備份效能和多版本的要求，而且非常有價效比。雲端儲存閘道器目前處於開放公測階段，是免費的。混合雲備份服務是按照備份客戶端數目和去重壓縮後的備份庫容量收費，既可以按需購買，也可以購買資源包，靈活且使用者友好。
另外，所有使用者都會關心備份的資料一致性和資料安全。在整條備份鏈路中，雲端儲存閘道器反向同步OSS資料到快取盤的時候，會有資料一致性校驗；在備份服務讀取快取盤資料，再寫到備份庫的時候，也有一致性校驗。並且，整條備份鏈路是資料加密的。當資料寫到備份庫的時候，備份庫的三副本技術也確保了使用者資料萬無一失。
最後，當用戶需要恢復資料的時候，混合雲備份服務可以細粒度到按檔案恢復到指定目錄，結合雲端儲存閘道器的跨VPC訪問的特性，可以做到資料恢復和分發的靈活性。