劉鵬《雲計算(第二版)》
①~⑤是控制流,⑥是資料流
client: 應用程式的訪問介面
master(主伺服器):管理節點,在邏輯上只有乙個,儲存系統的元資料(metadata,描述資料的資料),負責整個檔案系統的管理。
chunk server(資料庫伺服器):負責具體的儲存工作。資料以檔案的形式儲存在chunk server上。
架構設計成這樣的好處是:
1、client和master之間只有控制流(①~⑤),沒有資料流,因此降低了master的負載 (因為控制流只需傳送指令和狀態,資料量小)
2、client與chunk server之間直接傳輸資料流,同時由於檔案被分成多個chunk進行分布式儲存,因此client可以同時並行訪問多個chunk server,從而讓系統的i/o並行度提高
gfs的特點:
1、採用中心伺服器模式
好處是:(1)可以方便的增加chunk server
(2)master可以掌握系統內所有chunk server的情況,方便進行負載均衡
(3)不存在元資料的一致性問題(因為只有乙個中心server,所以雲資料也只有乙份)
2、不快取資料(沒有系統cache)
好處是:(1)檔案操作大部分是流式讀寫,不存在大量重複的讀寫,因此即使使用cache對系統效能的提高也不大
(2)chunk server上的資料儲存在本地檔案系統上(linux file system),若真的出現頻繁訪問,那麼本地檔案系統的cache也可以支援
(3)若建立系統cache,那麼cache中的資料與chunk server中的資料的一致性很難保證
思考:
gfs採用中心伺服器的模式,該模式的最大優點是便於管理,因為中心伺服器可以獲知所有子伺服器的狀態,因而可以很方便的得知各個子伺服器的負載狀況等。但是這一模式也有乙個比較致命的缺點,那就是單點故障。當單點故障發生在中心伺服器時,將導致整個系統的不可用。
不過,按照上述描述,gfs的中心伺服器只是邏輯上是乙個,因此可以想象,其實gfs的manster還是有後備機制的,因此gfs比較像偽集中式管理。
對Google的GFS檔案系統的拙見
你好!這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章,了解一下markdown的基本語法知識。全新的介面設計,將會帶來全新的寫作體驗 在創作中心設定你喜愛的 高亮樣式,markdown將 片顯示選擇的高亮樣式進行展示 全新的ka...
GFS的粗淺認知
google檔案系統gfs google設計gfs的動機 為了滿足google迅速增長的資料處理需求,需要乙個支援海量儲存的檔案系統 購置昂貴的分布式檔案系統與硬體。為什麼不使用當時現存的檔案系統?因為 google設計gfs的動機是設計與google應用和負載相符的檔案系統 gfs的假設與目標 硬...
linux環境下使用GFS檔案系統
gfs檔案系統其實是乙個網路日誌檔案系統,通常被用作多台計算機共享同一儲存裝置。由於gfs是日誌檔案系統,所以,如果將其應用到單獨的一台計算機上,即完全等同於 本地日誌檔案系統,享受日誌檔案系統帶來的好處。本文便向各位簡介gfs檔案系統在linux環境下的使用。gfs檔案系統1 編譯核心回答一大串的...