分布式檔案系統設計

2022-05-02 22:09:12 字數 2219 閱讀 1332

關鍵字

詳細說明

分布式檔案系統

研究point

1,效能,容量,可用性,安全性,可擴充套件性,可管理性

2,使用者元件與資料管理元件的分離,3,

key:服務客戶的響應時間

分布式檔案系統應該具有的特性

1,網路透明性:客戶端使用訪問本地資源的方法訪問網路資源

2,容錯性:網路錯誤,主機,儲存裝置故障發生時,系統仍能正常提供服務(可降級,更慢的響應)

3,可擴充套件性:系統規模擴大時,系統仍能正常工作(避免熱點,單伺服器瓶頸問題)

檔案命名機制

位置透明性

: 檔名跟檔案所在的位置無關

位置獨立性

: 檔案的遷移不會造成檔名的改變

1,主機名

:檔名

不透明不獨立

2,將遠端檔案樹掛載到本地

透明不獨立

(nfs)

3,將所有的檔案組織到乙個全域性的命名空間

(dnfs)

透明獨立

查詢方式

如查詢/a/b/c, a在m1

上,b在m2

上,c在m3

上1,遞迴方式:

m1->a->m2->b->m3->m2->m1

2,迭代方式:

m1->a->m1, m2->b->m2, m3->c->m3

共享語義1,

immutable semantics

:唯讀共享2,

unix semantics

:每次寫檔案將立即生效,之後的讀寫操作都會受到本次寫的影響3,

session(transaction like) semantics

:邏輯語義,通常需要鎖機制的配合下完成

遠端訪問方法

1,remote sevice(rpc, iscsi)

2,caching

實際應用通常是二者的折中方案,根據側重點確定實際方案

快取方案設計

需要考慮的四個問題

1,快取資料的粒度

2,快取的位置

3,快取資料修改方案

4,快取有效性檢查

5,快取替換演算法

關於快取資料的粒度:

1,整個檔案,部分檔案或是乙個塊

2,快取大小應根據網路資料報的大小,硬碟資料塊的大小確定

3,大粒度快取減少網路負載:包括啟動傳輸程序的時間,

接收方多次確認時間

關於快取位置:

1,磁碟:強調可靠性,宕機時快取資料仍存在

2,記憶體:強調效能的提公升,減少

network access

,可工作在無盤工作站

關於修改方案:1,

write through

:適合於

unix semantics

,造成寫操作週期變長2,

delayed-write

write on close

(適合於

session semantics

)write on eject

在快取被換出的時候寫回

折中--

定時重新整理

關於cache

有效性檢查:1,

:每次訪問檢查

第一次訪問檢查折中—

定時檢查2,

server

需維護檔案讀寫著的資訊

關於快取替換演算法

通用:lru,lfu

專用:semantics-aware

,power-aware

有狀態與無狀態

1,stateful

:伺服器維護檔案及客戶端狀態,可方便的使用

cache

機制宕機的時候恢復很難恢復之前狀態

客戶端宕機的發現機制難以實現2,

stateless

:宕機恢復簡單

檔案副本

主要涉及副本一致性的管理(

active update

,lazy update

,trade-off

)可擴充套件性

1,有限的資源(

cpu, disk

,menmory)2

,集中的資源易引發熱點,瓶頸問題,不利於擴充套件

3,廣播機制(網路延時,擁塞)隨著系統規模增加也不利於擴充套件

4,輕量級程序(執行緒)的使用

5,動態容量擴充套件,節點動態加入

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...

分布式檔案系統

缺點是檔案路徑是一致的,只能用於嵌入式檔案的儲存,沒有辦法作為系統請求檔案的儲存,不過對於web2.0可以從設計層面進行一些改善,將使用者的資料互動更多地方在伺服器端,而不是資料庫中,比如使用者的文章就在 com yyy裡面,但是這又帶來一些新的問題,檔案同步負載均衡等問題。現在著眼於將自製的web...