關鍵字
詳細說明
分布式檔案系統
研究point
1,效能,容量,可用性,安全性,可擴充套件性,可管理性
2,使用者元件與資料管理元件的分離,3,
key:服務客戶的響應時間
分布式檔案系統應該具有的特性
1,網路透明性:客戶端使用訪問本地資源的方法訪問網路資源
2,容錯性:網路錯誤,主機,儲存裝置故障發生時,系統仍能正常提供服務(可降級,更慢的響應)
3,可擴充套件性:系統規模擴大時,系統仍能正常工作(避免熱點,單伺服器瓶頸問題)
檔案命名機制
位置透明性
: 檔名跟檔案所在的位置無關
位置獨立性
: 檔案的遷移不會造成檔名的改變
1,主機名
:檔名
不透明不獨立
2,將遠端檔案樹掛載到本地
透明不獨立
(nfs)
3,將所有的檔案組織到乙個全域性的命名空間
(dnfs)
透明獨立
查詢方式
如查詢/a/b/c, a在m1
上,b在m2
上,c在m3
上1,遞迴方式:
m1->a->m2->b->m3->m2->m1
2,迭代方式:
m1->a->m1, m2->b->m2, m3->c->m3
共享語義1,
immutable semantics
:唯讀共享2,
unix semantics
:每次寫檔案將立即生效,之後的讀寫操作都會受到本次寫的影響3,
session(transaction like) semantics
:邏輯語義,通常需要鎖機制的配合下完成
遠端訪問方法
1,remote sevice(rpc, iscsi)
2,caching
實際應用通常是二者的折中方案,根據側重點確定實際方案
快取方案設計
需要考慮的四個問題
1,快取資料的粒度
2,快取的位置
3,快取資料修改方案
4,快取有效性檢查
5,快取替換演算法
關於快取資料的粒度:
1,整個檔案,部分檔案或是乙個塊
2,快取大小應根據網路資料報的大小,硬碟資料塊的大小確定
3,大粒度快取減少網路負載:包括啟動傳輸程序的時間,
接收方多次確認時間
關於快取位置:
1,磁碟:強調可靠性,宕機時快取資料仍存在
2,記憶體:強調效能的提公升,減少
network access
,可工作在無盤工作站
關於修改方案:1,
write through
:適合於
unix semantics
,造成寫操作週期變長2,
delayed-write
write on close
(適合於
session semantics
)write on eject
在快取被換出的時候寫回
折中--
定時重新整理
關於cache
有效性檢查:1,
:每次訪問檢查
第一次訪問檢查折中—
定時檢查2,
server
需維護檔案讀寫著的資訊
關於快取替換演算法
通用:lru,lfu
專用:semantics-aware
,power-aware
有狀態與無狀態
1,stateful
:伺服器維護檔案及客戶端狀態,可方便的使用
cache
機制宕機的時候恢復很難恢復之前狀態
客戶端宕機的發現機制難以實現2,
stateless
:宕機恢復簡單
檔案副本
主要涉及副本一致性的管理(
active update
,lazy update
,trade-off
)可擴充套件性
1,有限的資源(
cpu, disk
,menmory)2
,集中的資源易引發熱點,瓶頸問題,不利於擴充套件
3,廣播機制(網路延時,擁塞)隨著系統規模增加也不利於擴充套件
4,輕量級程序(執行緒)的使用
5,動態容量擴充套件,節點動態加入
分布式檔案系統
分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...
分布式檔案系統
常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...
分布式檔案系統
缺點是檔案路徑是一致的,只能用於嵌入式檔案的儲存,沒有辦法作為系統請求檔案的儲存,不過對於web2.0可以從設計層面進行一些改善,將使用者的資料互動更多地方在伺服器端,而不是資料庫中,比如使用者的文章就在 com yyy裡面,但是這又帶來一些新的問題,檔案同步負載均衡等問題。現在著眼於將自製的web...