分布式檔案系統概述 ZZ

2021-05-12 19:50:57 字數 1074 閱讀 5113

檔案系統是作業系統的乙個重要組成部分,通過對作業系統所管理的儲存空間的抽象,向使用者提供統一的、物件化的訪問介面,遮蔽對物理裝置的直接操作和資源管理。

根據計算環境和所提供功能的不同,檔案系統可劃分為四個層次,從低到高依次是:單處理器單使用者的本地檔案系統,如dos的檔案系統;多處理器單使用者的本地檔案系統,如os/2的檔案系統;多處理器多使用者的本地檔案系統,如unix的本地檔案系統;多處理器多使用者的分布式檔案系統,如lustre檔案系統。

本地檔案系統(local file system)是指檔案系統管理的物理儲存資源直接連線在本地節點上,處理器通過系統匯流排可以直接訪問。分布式檔案系統(distributed file system)是指檔案系統管理的物理儲存資源不一定直接連線在本地節點上,而是通過計算機網路與節點相連。

由於網際網路應用的不斷發展,本地檔案系統由於單個節點本身的侷限性,已經很難滿足海量資料訪問的需要了,因而不得不借助分布式檔案系統,把系統負載轉移到多個節點上。

傳統的分布式檔案系統(如nfs)中,所有資料和元資料存放在一起,通過單一的儲存伺服器提供。這種模式一般稱之為帶內模式(in-band mode)。隨著客戶端數目的增加,伺服器就成了整個系統的瓶頸。因為系統所有的資料傳輸和元資料處理都要通過伺服器,不僅單個伺服器的處理能力有限,儲存能力受到磁碟容量的限制,吞吐能力也受到磁碟i/o和網路i/o的限制。在當今對資料吞吐量要求越來越大的網際網路應用中,傳統的分布式檔案系統已經很難滿足應用的需要。

於是,一種新的分布式檔案系統的結構出現了,那就是利用儲存區域網路(san)技術,將應用伺服器直接和儲存裝置相連線,大大提高資料的傳輸能力,減少資料傳輸的延時。在這樣的結構裡,所有的應用伺服器都可以直接訪問儲存在san中的資料,而只有關於檔案資訊的元資料才經過元資料伺服器處理提供,減少了資料傳輸的中間環節,提高了傳輸效率,減輕了元資料伺服器的負載。每個元資料伺服器可以向更多的應用伺服器提供檔案系統元資料服務。這種模式一般稱之為帶外模式(out-of-band mode)。最近的storage tank、cxfs、lustre、bwfs等都採用這樣的結構,因此它們可以取得更好的效能和擴充套件性。區分帶內模式和帶外模式的主要依據是,關於檔案系統元資料操作的控制資訊是否和檔案資料一起都通過伺服器**傳送。前者需要伺服器**,後者是直接訪問。

分布式檔案系統 概述 1

使用分布式檔案系統可以解決如下幾點問題 海量檔案資料儲存 檔案資料高可用 冗餘備份 讀寫效能和負載均衡以上3點都是我們之前使用tomcat或nginx所不能夠實現的,這也是我們為什麼要使用分布式檔案系統的原因 說到分布式檔案儲存,肯定會有人想到hdfs,他們兩者主要定位和應用場景是不一樣的。hado...

分布式檔案系統

分布式檔案系統 概述 系統管理員可以利用分布式檔案系統 dfs 使使用者訪問和管理那些物理上跨網路分布的檔案更加容易。通過 dfs,可以使分布在多個伺服器上的檔案在使用者面前顯示時,就如同位於網路上的乙個位置。使用者在訪問檔案時不再需要知道和指定它們的實際物理位置。例如,如果您的銷售資料分散在某個域...

分布式檔案系統

常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google file system 大...