三種儲存型別比較 檔案 塊 物件儲存

2022-09-11 17:30:21 字數 3383 閱讀 2835

塊儲存和檔案儲存是我們比較熟悉的兩種主流的儲存型別,而物件儲存(object-based storage)是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置(object-based storage device)簡稱osd。

首先,我們介紹這兩種傳統的儲存型別。通常來講,所有磁碟陣列都是基於block塊的模式,而所有的nas產品都是檔案級儲存。

1、塊儲存

以下列出的兩種儲存方式都是塊儲存型別:

1) das(direct attach storage):是直接連線於主機伺服器的一種儲存方式,每一台主機伺服器有獨立的儲存裝置,每台主機伺服器的儲存裝置無法互通,需要跨主機訪問資料時,必須經過相對複雜的設定,若主機伺服器分屬不同的作業系統,要訪問彼此的資料,更是複雜,有些系統甚至不能訪問。通常用在單一網路環境下且資料交換量不大,效能要求不高的環境下,可以說是一種應用較為早的技術實現。

2)san(storage area network):是一種用高速(光纖)網路聯接專業主機伺服器的一種儲存方式,此系統會位於主機群的後端,它使用高速i/o 聯結方式, 如 scsi, escon 及 fibre- channels。一般而言,san應用在對網路速度要求高、對資料的可靠性和安全性要求高、對資料共享的效能要求高的應用環境中,特點是代價高,效能好。例如電信、銀行的大資料量關鍵應用。它採用scsi 塊i/o的命令集,通過在磁碟或fc(fiber channel)級的資料訪問提供高效能的隨機i/o和資料吞吐率,它具有高頻寬、低延遲的優勢,在高效能計算中占有一席之地,但是由於san系統的**較高,且可擴充套件性較差,已不能滿足成千上萬個cpu規模的系統。

2、檔案儲存

通常,nas產品都是檔案級儲存。  nas(network attached storage):是一套網路儲存裝置,通常是直接連在網路上並提供資料訪問服務,一套 nas 儲存裝置就如同乙個提供資料檔案服務的系統,特點是價效比高。例如教育、**、企業等資料儲存應用。

它採用nfs或cifs命令集訪問資料,以檔案為傳輸協議,通過tcp/ip實現網路化儲存,可擴充套件性好、**便宜、使用者易管理,如目前在集群計算中應用較多的nfs檔案系統,但由於nas的協議開銷高、頻寬低、延遲大,不利於在高效能集群中應用。

下面,我們對das、nas、san三種技術進行比較和分析:

** 1 三種技術的比較

針對linux集群對儲存系統高效能和資料共享的需求,國際上已開始研究全新的儲存架構和新型檔案系統,希望能有效結合san和nas系統的優點,支援直接訪問磁碟以提高效能,通過共享的檔案和元資料以簡化管理,目前物件儲存系統已成為linux集群系統高效能儲存系統的研究熱點,如panasas公司的object base storage cluster system系統和cluster file systems公司的lustre等。下面將詳細介紹物件儲存系統。

3、物件儲存

總體上來講,物件儲存同兼具san高速直接訪問磁碟特點及nas的分布式共享特點。

核心是將資料通路(資料讀或寫)和控制通路(元資料)分離,並且基於物件儲存裝置(object-based storage device,osd)構建儲存系統,每個物件儲存裝置具有一定的智慧型,能夠自動管理其上的資料分布。

物件儲存結構組成部分(物件、物件儲存裝置、元資料伺服器、物件儲存系統的客戶端):

3.1、物件

物件是系統中資料儲存的基本單位,乙個物件實際上就是檔案的資料和一組屬性資訊(meta data)的組合,這些屬性資訊可以定義基於檔案的raid引數、資料分布和服務質量等,而傳統的儲存系統中用檔案或塊作為基本的儲存單位,在塊儲存系統中還需要始終追蹤系統中每個塊的屬性,物件通過與儲存系統通訊維護自己的屬性。在儲存裝置中,所有物件都有乙個物件標識,通過物件標識osd命令訪問該物件。通常有多種型別的物件,儲存裝置上的根物件標識儲存裝置和該裝置的各種屬性,組物件是儲存裝置上共享資源管理策略的物件集合等。 

3.2、物件儲存裝置

物件儲存裝置具有一定的智慧型,它有自己的cpu、記憶體、網路和磁碟系統,osd同塊裝置的不同不在於儲存介質,而在於兩者提供的訪問介面。osd的主要功能包括資料儲存和安全訪問。目前國際上通常採用刀片式結構實現物件儲存裝置。osd提供三個主要功能:

(1) 資料儲存。osd管理物件資料,並將它們放置在標準的磁碟系統上,osd不提供塊介面訪問方式,client請求資料時用物件id、偏移進行資料讀寫。

(2) 智慧型分布。osd用其自身的cpu和記憶體優化資料分布,並支援資料的預取。由於osd可以智慧型地支援物件的預取,從而可以優化磁碟的效能。

(3) 每個物件元資料的管理。osd管理儲存在其上物件的元資料,該元資料與傳統的inode元資料相似,通常包括物件的資料塊和物件的長度。而在傳統的nas系統中,這些元資料是由檔案伺服器維護的,物件儲存架構將系統中主要的元資料管理工作由osd來完成,降低了client的開銷。

3.3、元資料伺服器(metadata server,mds)

mds控制client與osd物件的互動,主要提供以下幾個功能:

(1) 物件儲存訪問。

mds構造、管理描述每個檔案分布的檢視,允許client直接訪問物件。mds為client提供訪問該檔案所含物件的能力,osd在接收到每個請求時將先驗證該能力,然後才可以訪問。

(2) 檔案和目錄訪問管理。

mds在儲存系統上構建乙個檔案結構,包括限額控制、目錄和檔案的建立和刪除、訪問控制等。

(3) client cache一致性。

為了提高client效能,在物件儲存系統設計時通常支援client方的cache。由於引入client方的cache,帶來了cache一致性問題,mds支援基於client的檔案cache,當cache的檔案發生改變時,將通知client重新整理cache,從而防止cache不一致引發的問題。

3.4、物件儲存系統的客戶端client

為了有效支援client支援訪問osd上的物件,需要在計算節點實現物件儲存系統的client,通常提供posix檔案系統介面,允許應用程式像執行標準的檔案系統操作一樣。

4、glusterfs 和物件儲存

glusterfs是目前做得最好的分布式儲存系統系統之一,而且已經開始商業化執行。但是,目前glusterfs3.2.5版本還不支援物件儲存。如果要實現海量儲存,那麼glusterfs需要用物件儲存。值得高興的是,glusterfs最近宣布要支援物件儲存。它使用openstack的物件儲存系統swift的上層put、get等介面,支援物件儲存。

塊儲存 檔案儲存 物件儲存

塊儲存主要是對磁碟陣列 內含多塊硬碟 做raid操作或者lvm操作,邏輯劃分出n塊logic盤並對映給主機使用,作業系統會識別到n塊硬碟,但是無法感知到底是邏輯盤還是物理盤,所以還是會對其進行分割槽和格式化 無法共享資料 每塊邏輯盤實際上是由多塊硬碟共同組成,在讀寫資料的時候,幾塊物理硬碟可以並行定...

塊儲存 檔案儲存 物件儲存區別

儲存的目的就是提供空間 硬碟為儲存的載體 把資料存放在硬碟上的 塊儲存 檔案儲存 物件儲存為使用硬碟儲存資料手段或方法 怎樣將主機 伺服器 主機 虛機 上的資料存到硬碟?作業系統中會有乙個負責管理和儲存檔案系統的軟體既檔案系統。塊儲存與檔案儲存相比最主要的差別就是儲存端是否有檔案系統。塊儲存使用時,...

軟體儲存分類 塊儲存 檔案儲存 物件儲存

將裸磁碟空間整個對映給主機使用的,就是說例如磁碟陣列裡面有5塊硬碟,然後通過劃邏輯盤 做raid 或者lvm 邏輯卷 等種種方式邏輯劃分出n個邏輯的硬碟。很多時候塊儲存採用san架構組網,傳輸速率以及封裝協議的原因,使得傳輸速度與讀寫速率得到提公升。參考 塊儲存 檔案儲存 物件儲存這三者的本質差別是...