什麼是物件儲存?OSD架構及原理

2021-07-11 01:27:27 字數 3245 閱讀 7046

什麼是物件儲存(osd)?

儲存區域網(san)和網路附加儲存(nas)是我們比較熟悉的兩種主流網路儲存架構,而物件儲存(object-based storage)是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置(object-based storage device)簡稱osd。

物件儲存的發展歷史:

2023年成立的全球網路儲存工業協會(snia)的物件儲存裝置(object storage device)工作組發布了ansi的x3t10標準。

物件儲存的優點:

總體上來講,物件儲存同兼具san高速直接訪問磁碟特點及nas的分布式共享特點。

san(storage area network)結構

採用scsi 塊i/o的命令集,通過在磁碟或fc(fiber channel)級的資料訪問提供高效能的隨機i/o和資料吞吐率,它具有高頻寬、低延遲的優勢,在高效能計算中占有一席之地,如sgi的cxfs檔案系統就是基於san實現高效能檔案儲存的,但是由於san系統的**較高,且可擴充套件性較差,已不能滿足成千上萬個cpu規模的系統。

nas(network attached storage)結構

它採用nfs或cifs命令集訪問資料,以檔案為傳輸協議,通過tcp/ip實現網路化儲存,可擴充套件性好、**便宜、使用者易管理,如目前在集群計算中應用較多的nfs檔案系統,但由於nas的協議開銷高、頻寬低、延遲大,不利於在高效能集群中應用。

物件儲存結構

核心是將資料通路(資料讀或寫)和控制通路(元資料)分離,並且基於物件儲存裝置(object-based storage device,osd)構建儲存系統,每個物件儲存裝置具有一定的智慧型,能夠自動管理其上的資料分布。

物件儲存結構組成部分(物件、物件儲存裝置、元資料伺服器、物件儲存系統的客戶端):

物件儲存架構

1、物件

物件是系統中資料儲存的基本單位,乙個物件實際上就是檔案的資料和一組屬性資訊(meta data)的組合,這些屬性資訊可以定義基於檔案的raid引數、資料分布和服務質量等,而傳統的儲存系統中用檔案或塊作為基本的儲存單位,在塊儲存系統中還需要始終追蹤系統中每個塊的屬性,物件通過與儲存系統通訊維護自己的屬性。在儲存裝置中,所有物件都有乙個物件標識,通過物件標識osd命令訪問該物件。通常有多種型別的物件,儲存裝置上的根物件標識儲存裝置和該裝置的各種屬性,組物件是儲存裝置上共享資源管理策略的物件集合等。

物件的層次關係理解(**snia)

物件的組成(圖形**oracle)

2、物件儲存裝置

物件儲存裝置具有一定的智慧型,它有自己的cpu、記憶體、網路和磁碟系統,osd同塊裝置的不同不在於儲存介質,而在於兩者提供的訪問介面。osd的主要功能包括資料儲存和安全訪問。目前國際上通常採用刀片式結構實現物件儲存裝置。osd提供三個主要功能:

(1) 資料儲存。osd管理物件資料,並將它們放置在標準的磁碟系統上,osd不提供塊介面訪問方式,client請求資料時用物件id、偏移進行資料讀寫。

(2) 智慧型分布。osd用其自身的cpu和記憶體優化資料分布,並支援資料的預取。由於osd可以智慧型地支援物件的預取,從而可以優化磁碟的效能。

(3) 每個物件元資料的管理。osd管理儲存在其上物件的元資料,該元資料與傳統的inode元資料相似,通常包括物件的資料塊和物件的長度。而在傳統的nas系統中,這些元資料是由檔案伺服器維護的,物件儲存架構將系統中主要的元資料管理工作由osd來完成,降低了client的開銷。 

3、元資料伺服器(metadata server,mds)

mds控制client與osd物件的互動,主要提供以下幾個功能:

(1) 物件儲存訪問。

mds構造、管理描述每個檔案分布的檢視,允許client直接訪問物件。mds為client提供訪問該檔案所含物件的能力,osd在接收到每個請求時將先驗證該能力,然後才可以訪問。

(2) 檔案和目錄訪問管理。

mds在儲存系統上構建乙個檔案結構,包括限額控制、目錄和檔案的建立和刪除、訪問控制等。

(3) client cache一致性。

為了提高client效能,在物件儲存系統設計時通常支援client方的cache。由於引入client方的cache,帶來了cache一致性問題,mds支援基於client的檔案cache,當cache的檔案發生改變時,將通知client重新整理cache,從而防止cache不一致引發的問題。

4、物件儲存系統的客戶端client

為了有效支援client支援訪問osd上的物件,需要在計算節點實現物件儲存系統的client,通常提供posix檔案系統介面,允許應用程式像執行標準的檔案系統操作一樣。

物件儲存檔案系統的關鍵技術

1、分布元資料 傳統的儲存結構元資料伺服器通常提供兩個主要功能。

(1)為計算結點提供乙個儲存資料的邏輯檢視(virtual file system,vfs層),檔名列表及目錄結構。

(2)組織物理儲存介質的資料分布(inode層)。物件儲存結構將儲存資料的邏輯檢視與物理檢視分開,並將負載分布,避免元資料伺服器引起的瓶頸(如nas系統)。元資料的vfs部分通常是元資料伺服器的10%的負載,剩下的90%工作(inode部分)是在儲存介質塊的資料物理分布上完成的。在物件儲存結構,inode工作分布到每個智慧型化的osd,每個osd負責管理資料分布和檢索,這樣90%的元資料管理工作分布到智慧型的儲存裝置,從而提高了系統元資料管理的效能。另外,分布的元資料管理,在增加更多的osd到系統中時,可以同時增加元資料的效能和系統儲存容量。

2、併發資料訪問 物件儲存體系結構定義了乙個新的、更加智慧型化的磁碟介面osd。osd是與網路連線的裝置,它自身包含儲存介質,如磁碟或磁帶,並具有足夠的智慧型可以管理本地儲存的資料。計算結點直接與osd通訊,訪問它儲存的資料,由於osd具有智慧型,因此不需要檔案伺服器的介入。如果將檔案系統的資料分布在多個osd上,則聚合i/o速率和資料吞吐率將線性增長,對絕大多數linux集群應用來說,持續的i/o聚合頻寬和吞吐率對較多數目的計算結點是非常重要的。物件儲存結構提供的效能是目前其它儲存結構難以達到的,如activescale物件儲存檔案系統的頻寬可以達到10gb/s。

推薦參考文件:

oracle:object-based storage devices

snia:osd系統架構 英文

ibm:linux 物件儲存檔案系統的研究

儲存分類及物件儲存osd的技術原理

什麼是物件儲存 osd 儲存區域網 san 和網路附加儲存 nas 是我們比較熟悉的兩種主流網路儲存架構,而物件儲存 object based storage 是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置 object based storage device 簡稱osd。物件儲存...

儲存分類及物件儲存osd的技術原理

什麼是物件儲存 osd 儲存區域網 san 和網路附加儲存 nas 是我們比較熟悉的兩種主流網路儲存架構,而物件儲存 object based storage 是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置 object based storage device 簡稱osd。物件儲存...

什麼是物件儲存

截止2012年底,1.3萬億的物件被儲存在亞馬遜s3 這個世界上最大以及最廣為人知的物件儲存系統中。當時,這一數字每天以超過10億個物件的速度增加著,因此2萬億大關實為指日可待。物件儲存比傳統的檔案系統儲存在規模上要大得多,這是由於前者比後者著實要簡單得多。物件儲存系統並非將檔案組織成乙個目錄層次結...