MFS分布式檔案系統簡介

2021-09-26 06:39:14 字數 956 閱讀 9622

注意

mfs特性

moosefs是乙個分布式儲存的框架,其具有如下特性:

可能的瓶頸

master 本身的效能瓶頸。mfs 系統 master 存在單點故障如何解決?moosefs+drbd+heartbeat

來保證 master 單點問題?不過在使用過程中不可能完全不關機和間歇性的網路中斷!

體系架構儲存檔案總數的可遇見的上限。(mfs 把檔案系統的結構快取到 master 的記憶體中,文

件越多,master 的記憶體消耗越大,8g 對應 2500w 的檔案數,2 億檔案就得 64gb 記憶體 )。

master 伺服器 cpu 負載取決於操作的次數,記憶體的使用取決於檔案和資料夾的個數。

mfs的組成

mfs讀資料的處理過程

mfs的寫資料的過程

元資料伺服器與chunk server進行互動,但元資料伺服器只在某些伺服器建立新的分塊chunks,建立成功後由chunk servers告知元資料伺服器操作成功

元資料伺服器告知客戶端,可以在哪個chunk server的哪些chunks寫入資料

客戶端向指定的chunk server寫入資料

該chunk server與其他chunk server進行資料同步,同步成功後chunk server告知客戶端資料寫入成功;

客戶端告知元資料伺服器本次寫入完畢 。

注意:原始的讀/寫速度很明顯是主要取決於所使用的硬碟的效能、網路的容量和拓撲結構的,使用的硬

盤和網路的吞吐量越好,整個系統的效能也就會越好。

mfs的刪除檔案過程

mfs修改檔案內容的過程

mfs重新命名檔案的過程

mfs遍歷檔案的過程

mfs分布式檔案系統介紹 01

mfs分布式檔案系統就是把一些分散在多台計算機上的共享資料夾,集合到乙個共享資料夾內,使用者要訪問這些資料夾的時候,只要開啟乙個資料夾就可以的看到所有鏈結到此資料夾內的共享資料夾。元資料伺服器 master 在整個體系中負責管理檔案系統,維護元資料,目前不支援高可用。元資料日誌伺服器 metalog...

各種分布式檔案系統簡介

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...

各種分布式檔案系統簡介

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...