騰訊雲COS物件儲存佔據資料容災C位

2022-06-17 22:57:13 字數 2925 閱讀 7307

說到公有雲容災,大家首先想到的是雲上資料備份。

然而,隨著企業核心業務逐漸從線下遷移到雲上,客戶提出了更高的要求。如何確保雲上業務的高可用、資料的高可靠,這對雲廠商提出了新的挑戰。

業務的容災涉及到諸多方面,以典型的三層架構為例,架構上要確保每一層都具備高可用能力,才能保障整體業務的高可用。這其中,資料層作為業務的核心,是我們首要考慮的。

一、region 和 az 的概念

首先介紹一下 region 和 az 的概念。

region-區域/地域:簡單來說,可以將 region 理解為不同城市的機房。公有雲的 region 遍布全球,國內的話,通常會有北京 region、上海 region、廣州 region 等等。不同 region 之間,一般只能通過公網連通。

az-可用區:可以理解為同乙個城市的不同機房,是包含在 region 內的。比如北京 region,會包括多個 az,而單個 az 會有乙個或多個 idc 機房園區組成。az 之間通過高頻寬、低時延、高冗餘的專線網路連線,保證跨 az 之間資料傳輸的安全可靠。

乙個 region 多個 az 組成,從機房電力、網路等層面來保障乙個 az 出現故障的時候不會影響到另外乙個可用區。

二、跨可用區容災

實現原理上,資料會被打散成若干個分塊,同時按照糾刪碼演算法計算出對應的校驗碼分塊。原始資料分塊和校驗碼分塊會被打散並均分儲存到該地域的不同 az 資料中心中,實現同城容災。

多 az 特性為客戶提供99.9999999999%(12個9)的資料設計可靠性和99.995%的服務設計可用性。在上傳資料到物件儲存時,只需要通過指定物件的儲存型別,即可將物件存放到多 az 的地域。

當您啟用多 az 功能後,客戶資料分散儲存在城市中多個不同的 az 資料中心,當某個 az 資料中心因為自然災害、斷電等極端情況導致整體故障時,其他 az 資料中心的資料依舊可以正常讀取和寫入,保障客戶資料持久儲存不丟失,維持客戶業務資料連續性和高可用。

三、跨區域容災

如果您的業務有更高的可用性需求,除了借助 cos 物件儲存多 az 之外,還可以在不同地域儲存資料副本,來進一步提高資料層的可用性。

啟用儲存桶複製後,cos 將精確複製源儲存桶中的物件內容(如物件元資料和版本 id 等)到目標儲存桶中,複製的物件副本擁有完全一致的屬性資訊。此外,源儲存桶中對於物件的操作,如新增物件、刪除物件等操作,也將被複製到目標儲存桶中。

通過儲存桶跨區域複製實現資料的異地容災,當某個資料中心因為不可抗因素損毀時,另乙個儲存桶的資料中心仍然可以提供副本資料以供您使用。

除了提供高可用之外,儲存桶跨區域複製可以滿足行業對資料安全的合規性要求。同時,當您的客戶在不同地理位置訪問物件時,在與客戶地理位置最近的儲存桶中維護物件副本,最大限度上縮短客戶的訪問延遲,有利於提高您的產品體驗。

四、版本控制

無論是跨可用區容災,還是跨區域容災,如果資料被誤刪除,將導致資料永久丟失。

為了避免使用者誤刪或應用程式故障而丟失的資料,cos 物件儲存推出了版本控制功能。

版本控制用於實現在相同儲存桶中存放同一物件的多個版本。例如,在乙個儲存桶中,您可以存放多個物件鍵同為 picture.jpg 的物件,但其版本 id 不同,例如100000、100101和120002等。

使用者在為某一儲存桶開啟版本控制功能後,可以根據版本 id 查詢、刪除或還原存放在儲存桶中的物件。這有助於恢復被使用者誤刪或應用程式故障而丟失的資料。例如,使用者在對版本控制的物件進行刪除操作時:

儲存桶可處於三種版本控制狀態:未啟用版本控制狀態、啟用版本控制狀態和暫停版本控制狀態。

儲存桶處於不同的版本控制狀態下,您均可對不同狀態的儲存桶中的物件進行上傳、查詢和刪除操作。

五、上傳防覆蓋

除開一些不可抗力因素,很多時候,看起來沒有風險的操作也是導致資料異常的一大原因,比如,cos 是保持最終一致性的,所以,當有同名檔案上傳時,舊檔案會被覆蓋,為了避免非預期的覆蓋動作,使用者就需要在自己的業務邏輯中維護一套完整的重名校驗系統,當然,使用者也可以選擇開啟版本控制,但開啟版本控制後,多版本物件的管理邏輯也比較複雜,也會帶來額外的儲存量,而且,使用者往往只需要對部分特定檔案禁止覆蓋寫的動作,不需要版本控制相較厚重的功能邏輯。

使用者可以直接開啟儲存桶的防覆蓋功能,開啟後,儲存桶會禁止一切同名檔案的上傳動作,當上傳同名檔案時,cos 會拒絕上傳請求,以保證儲存桶中的檔案不會被覆蓋。

如果只是想防止儲存桶中部分特定檔案被覆蓋,使用者可以在上傳這些檔案時,帶上特殊頭部,帶上該頭部後,上傳請求會先對桶中檔案進行校驗,如果桶中無同名檔案則上傳成功,如果桶中有同名檔案,則上傳失敗。

開啟了上傳防覆蓋功能後,使用者仍然可以對檔案進行改名,刪除等操作,在一些合規場景下,僅僅是防止覆蓋,還遠遠不夠。

六、物件鎖定

在很多金融場景下,根據合規政策,檔案需要強制性的保留,不允許覆蓋,刪除,修改等等,需要留底足夠的時間,這個時候,就需要通過物件鎖定功能來滿足需求。

使用者開啟儲存桶配置物件鎖定後,在保留週期內:

物件鎖定功能可以很好的協助客戶滿足合規性的政策要求。

七、寫到最後

與本地輔助資料中心相比,基於雲的災難恢復可以提供更高的可靠性、可用性和安全性,而不需要重複的硬體、計算、網路和軟體,在保障 rpo 和 rto 的情況下,可以顯著降低容災 tco。

騰訊雲物件儲存COS安全方案介紹

對上雲企業來說,賬號安全和資源合理授權是構築立體防護體系的第一道門鎖。雲上資源管理的授權應該規避如下風險 為員工建了子賬號,但是授權過大 缺乏對使用帳號許可權的管理制度和流程 沒有定期審計管理使用者的許可權和登入資訊 賬戶分級 主賬號可以為所有合法的cam使用者,包括子賬號 協作者等,授予程式設計訪...

騰訊雲物件儲存COS資料智慧型分層特性正式發布

物件儲存智慧型分層特性提供了一種新的儲存型別。智慧型分層儲存為資料提供了冷熱分層機制,能夠根據使用者資料的訪問模式,自動地轉換資料的冷熱層級,從而降低使用者資料的儲存成本。智慧型分層儲存適用於訪問模式不固定或者無法預估訪問模式的資料。當資料儲存於智慧型分層儲存型別時,物件儲存服務將周期性地監測資料訪...

騰訊雲 COS 物件儲存 簡單檔案上傳筆記

cos 物件儲存 簡單檔案上傳 com.qcloud cos api 5.6.24 我使用的是cos的本地檔案上傳方式,前端傳來的檔案資料是 multipartfile 型別的,但是cos在接收本地檔案上傳時接收的檔案資料型別是 file 因此需要先轉一下並生成乙個臨時的本地檔案 生成在伺服器端 因...