Moose File System分布檔案系統測試

2021-09-23 23:31:39 字數 2654 閱讀 5300

moosefs是乙個開源的分布檔案系統軟體,可提供高效,可靠的資料儲存能力.配置,維護都比較簡單。

moosefs對離散讀寫的效能提公升明顯。

建議底層使用xfs檔案系統,支援更大的檔案系統和更多的檔案,這個的話rhel6已經加入支援了。

整個分布儲存系統由三部分組成:

master:

儲存資料位圖,許可權資訊,提供客戶端掛載介面,提供圖形管理介面等。

metalog(optional)

master伺服器的備份。

chunkserver

資料儲存伺服器,負責儲存資料。

clientserver

掛載客戶端,負責掛載master節點export的儲存,配置目錄冗餘度等.需要fuse模組支援.

安裝與配置:

1.master

新增組、使用者

新增程式家目錄

配置使用者環境變數

編譯安裝

配置mfsmaster.cfg , mfsmetalogger.cfg , mf***ports.cfg

轉移metadata.mfs

配置/etc/hosts

啟動mfsmaster程序,mfscgiserv程序

2.metalogger

新增組、使用者

新增程式家目錄

配置使用者環境變數

編譯安裝

配置mfsmaster.cfg , mfsmetalogger.cfg , mf***ports.cfg

轉移metadata.mfs

配置/etc/hosts

啟動mfsmetalogger程序

3.chunkserver

新增組、使用者

新增程式家目錄

配置使用者環境變數

編譯安裝

分配參與分布檔案系統的目錄 , 新增目錄的mfs使用者可訪問許可權。

配置mfschunkserver.cfg , mfshdd.cfg

配置/etc/hosts

啟動mfschunkserver程序

重複配置剩餘的chunkserver

4.clientserver

首先安裝fuse(modprobe fuse,vi /etc/ld.so.conf,ldconfig)

然後新增組、使用者

新增程式家目錄

配置使用者環境變數

編譯安裝mfs

配置/etc/hosts

載入mfs資料夾,配置目錄goal等

使用:監控(http://masterserver:9425)

啟動(master,metalogger,chunkserver,client)

關閉(client,chunkserver,metalogger,master)

測試(待續):

測試環境

master 8核8g mem

metalogger 8核8g mem

chunkserver1 8核8g mem 3disks

chunkserver2 8核8g mem 3disks

chunkserver3 8核8g mem 3disks

client1 8核8g mem

client2 8核8g mem

switch bandwidth 1g

1.讀寫測試

測試讀寫效能,2臺客戶機同時拷貝資料至mfs.

goal轉換

2.冗餘度測試

設定目錄冗餘度,在目錄中建立檔案,crash掉冗餘度-1臺節點,檢視檔案是否完整。

結論:完整

設定目錄a冗餘度,-r 2,設定目錄冗餘度b,-r 3,在目錄a中建立檔案a,檢視檔案a冗餘度,拷貝a到b目錄,檢視a冗餘度。將檔案從a目錄移動到b目錄,檢視移動後檔案冗餘度。

結論:移動不影響冗餘度,複製冗餘度受目錄限制。

3.master節點恢復測試

crash master節點,恢復。檢視資料是否丟失。

結論:無丟失。

4.chunkserver擴充套件測試

記錄總容量a,增加節點,記錄總容量b。比較a,b

結論:容量立即增加。

5.chunkserver節點crash測試

記錄總容量a,crash某節點,記錄總容量b,恢復某節點,記錄總容量c。比較a,b,c

結論:crash後容量減去被crash的節點容量,恢復後容量恢復原狀。

6.資料一致性測試

寫a檔案,crash某chunk,修改a檔案,恢復某crash,檢視a檔案。

多個節點同時vi某個檔案。

結論:檔案一致。

7.**站測試

超時測試:新建檔案,設定trashtime,刪除檔案,檢視剩餘容量。比較超時設定與剩餘容量。

回退測試:刪除,回退。

結論:超時配置與預期一致,回退功能正常。

8.許可權設定測試

測試目標uid,gid

結論:與目標uid,gid一致。

總結:1.從moosefs的架構可以看出最容易出現瓶頸的是master節點部分,通訊瓶頸或伺服器的瓶頸

2.最好在mount的時候取消檔案和目錄的cache,防止不同步

3.適當調整超時時間,必要時刪除meta立即**空間

4.配置hotstandby提高可靠性,官方稱可以將切換做到1分鐘以內。

5.做好chunkserver的配額,防止溢位。

命令參考:

FastDFS分布檔案系統

出於簡潔考慮,fastdfs沒有對檔案做分塊儲存,因此不太適合分布式計算場景。原始碼 fastdfs google code 論壇 分布式檔案系統fastdfs架構剖析 fastdfs 配置檔案詳解 修訂版1 分布式檔案系統fastdfs配置優化 分布式檔案系統fastdfs架構剖析及配置優化.pp...

FastDFS分布檔案系統

出於簡潔考慮,fastdfs沒有對檔案做分塊儲存,因此不太適合分布式計算場景。原始碼 fastdfs google code 論壇 分布式檔案系統fastdfs架構剖析 fastdfs 配置檔案詳解 修訂版1 分布式檔案系統fastdfs配置優化 分布式檔案系統fastdfs架構剖析及配置優化.pp...

分布式檔案系統 集群檔案系統 並行檔案系統

分布式檔案系統 自然地,分布式 是重點,它是相對與本地檔案系統而言的。分布式檔案系統通常指c s架構或網路檔案系統,使用者資料沒有直接連線到本地主機,而是儲存在遠端儲存伺服器上。nfs cifs是最為常見的分布式檔案系統,這就是我們說的nas系統。分布式檔案系統中,儲存伺服器的節點數可能是1個 如傳...