恒天雲技術分享系列7 分布式塊儲存架構

2022-05-24 15:03:09 字數 1010 閱讀 4163

**自恆天雲:

1.塊儲存簡介

塊儲存,簡單來說就是提供了塊裝置儲存的介面。使用者需要把塊儲存卷附加到虛擬機器(或者裸機)上後才可以與其互動。這些卷都是持久的,它們可以被從執行例項上解除或者重新附加而資料保持完整不變。openstack 中的例項是不能持久化的,需要掛載 volume,在 volume 中實現持久化。cinder 就是提供對 volume 實際需要的儲存塊單元的實現管理功能。

常見的塊儲存技術分為兩種,一種是本地塊儲存,如lvm + iscsi,儲存網路等,另外一種是分布式塊儲存如 sheepdog, glusterfs, ceph等。

2.openstack塊儲存

3.存在的挑戰

l容災挑戰— 磁碟和節點都存在單點問題

l恢復挑戰— 因恢復過慢引起的業務中斷問題

在雲環境中,除了以上挑戰,還存在:

l集群維護挑戰 —動態伸縮集群容量

l  效能挑戰—讀寫速度提公升

4.可選的解決方案

l  raid,能夠解決磁碟單點問題,但是不能解決儲存節點單點問題

l  分布式raid,成本極其昂貴,

l  使用開源的分布式儲存框架提供塊儲存: sheepdog, ceph, clusterfs……. 

5.我們的解決方案

特點:l  無需專門的儲存伺服器,只需要普通的sas伺服器級別的硬碟

l  解決節點磁碟單點問題和節點單點問題

l  提供類似raid0的效能,但是沒有raid0的磁碟單點問題

l  集群擴充套件容易,集群能力可以根據業務規模動態調整

l  提供檔案系統和作業系統的優化,顯著提公升讀寫效能

l  靈活的資料備份策略 ,允許針對每塊雲硬碟定製

l  集群狀態監控

6.效能測試

在4臺普通pc上,未做優化的配置雲硬碟吞吐量測試結果。

(橫座標為傳輸快大小,縱座標為讀寫速度,單位mb/s)

ZooKeeper實踐方案 (7) 分布式鎖

分布式鎖是控制分布式系統之間同步訪問共享資源的一種方式,須要相互排斥來防止彼此干擾來保證一致性。利用zookeeper的強一致性能夠完畢鎖服務。zookeeper的官方文件是列舉了兩種鎖。獨佔鎖和共享鎖。獨佔鎖保證不論什麼時候都僅僅有乙個程序能或者資源的讀寫許可權。共享鎖能夠同一時候有多個讀,可是同...

輕鬆學習分布式 系列3 分布式資料庫。

我們繼續來講分布式,回到我們的創業遊戲。我們的業務規模上來了,客戶也越來越忠誠了。很多客戶都通過我們的訂票服務,來方便自己的行程。那對這些老客戶,我們的宗旨是 要不斷超越客戶的期待。所以,我們要建立我們的客戶資料庫。我們要記錄下每個客戶的偏好的航空公司,偏愛的酒店。下次服務,才能直接更好地服務客戶。...

晨讀系列 01 分布式架構訊息佇列

一 訊息佇列概述 訊息佇列中介軟體是分布式系統的重要組建,主要解決 應用耦合,非同步訊息,流量削峰 訊息通訊等問題。目前在生產環境,使用較多的訊息佇列有 activemq rabbitmq zeromq kafka metamq rocketmq 二 訊息佇列應用場景 1.非同步處理 如,使用者註冊...