什麼是物件儲存

2021-09-01 00:27:04 字數 3079 閱讀 3201

塊是儲存的基礎架構,對塊的管理是簡單的。從全球第乙個磁碟儲存技術50 年前誕生到現在,塊的技術沒有發生太大變化。磁碟工業生產遍及全球。最近幾年,儲存行業興起儲存虛擬化和資料整合的新概念,在這些概念和方案中,資料還是以塊的形式通過網路進行讀寫操作。

塊形式的儲存在滿足資料可擴充套件性和資料安全性的增長方面,日益顯現出其侷限性和不足。國際上主要有兩類網路化儲存架構,它們是通過命令集來區分的。第一類 是san(storage area network)結構,它採用scsi 塊i/o 的命令集,通過在磁碟或fc(fiber channel)級的資料訪問提供高效能的隨機i/o 和資料吞吐率,它具有高頻寬、低延遲的優勢,在高效能計算中占有一席之地,但是由於san 系統的**較高,且可擴充套件性較差,已不能滿足成千上萬個cpu 規模的系統。第二類是nas(network attached storage)結構,它採用nfs 或cifs 命令集訪問資料,以檔案為傳輸協議,通過tcp/ip 實現網路化儲存,可擴充套件性好、**便宜、使用者易管理,如目前在集群計算中應用較多的nfs 檔案系統,但由於nas 的協議開銷高、頻寬低、延遲大,不利於在高效能集群中應用。

針對linux 集群對儲存系統高效能和資料共享的需求,國際上已開始研究全新的儲存架構和新型檔案系統,希望能有效結合san 和nas 系統的優點,支援直接訪問磁碟以提高效能,通過共享的檔案和元資料以簡化管理,目前物件儲存系統已成為linux 集群系統高效能儲存系統的研究熱點,如panasas公司的object base storage cluster system系統和cluster file

systems 公司的lustre 等。

基於物件的儲存

在2004 年, ansi 推出了基於物件的儲存裝置(osd)的1.0 版本規範。它定義了基於物件的儲存裝置的通訊協議。osd 規範描述了乙個scsi 命令集合,由他提供乙個高水平的osd介面。這個介面允許客戶端, 比如檔案系統和資料庫存放和索引資料snia』s 技術工作組當前正在開發osd 規範的2.0 版本,這個版本年內完成。乙個osd 裝置存放物件,他控制著從物件到物理介質的對映圖。裝置同時也跟蹤作為屬性的元資料,例如建立時間標記,從而允許在客戶端非常容易地共享資料。可以 說,osd 最大的賣點在於它結合了san 的可擴充套件性和nas 的資料共享。早期的nas 架構的擴充套件效能並不好,因為所有的元資料的處理都集中在nas 伺服器上。在有限的nas 頭下擴張更多的儲存受到限制,而且這個時候,nas 上的元資料處理變成了瓶頸。如果想擴充套件,就需要增加更多的nas 伺服器,但是此時的管理成為頭疼的事情,因為資料是分散的, 這就是我們常說到的「nas 孤島」

osd的能力在於它將客戶端和osd裝置直接聯絡起來,並不需要中間環節管理元資料。panasas 公司同時提供物件導向的儲存和並行檔案系統。panasas 公司的directflow 的設計,客戶端從帶外管理的控制刀片得到目標的分布和安全屬性。所有的資料流都直接從osd儲存刀片到客戶端。儘管商用的osd產品還只是鳳毛麟角,但是 osd技術還是在日新月異。西捷和ibm已經展示了osdc 產品。hp已經和開放源**廠家lustre 檔案系統合作, 使用osd作為他的

storagework 可擴充套件檔案系統的重要部分。

對於物件儲存來講,不光是解決了資料儲存的問題,同時它還解決了資料安全性的問題。儲存通常已經依賴於客戶端和私有網路的認證來保護系統的安全性,不管在 檔案伺服器內用的是fc san 或scsi 陣列。物件儲存體系結構在每乙個級別上都提供了安全性:儲存系統對儲存裝置的認證;儲存系統對計算節點的認證;儲存系統對計算節點命令的認證;所有命令都 經crc 的完整性檢查;資料和命令經由ip 的私有性。這樣的安全水平能給使用者以信心,他們可以用更經濟高效,可管理並容易訪問的網路,如乙太網,作為儲存的傳輸工具,同時還提高了整個儲存體系的安 全性。

「物件儲存裝置並不適合所有的使用者。」

高效能計算領域

物件儲存體系結構提供了乙個帶有nas 系統的傳統的檔案共享和管理特徵的單系統映象(single-system-image)檔案系統,並改進了san 的資源整合和可擴充套件的效能。這種效能,可擴充套件性,可管理性以及安全性的結合,只能通過在儲存體系結構上的重大革命才能被完成。第乙個支援物件體系結構的產 品現在已經問世,它就是panasas activescale storagecluser (儲存集群)。此產品已經被部署在國家實驗室,**資料處理機構,以及生物技術組織,它們都在用linux 集群去解決關鍵的科學問題,這些問題在過去是用巨型超級計算機也不能解決的。它們都期盼能解決需要高效能,可擴充套件的共享儲存才能解決的新問題,這種儲存在 panasas 的儲存體系之前,在市場上是沒有的。panasas 儲存集群及基於物件的儲存、體系結構已經展示了,它們能迎接由beowolf/linux 集群計算體系結構提出的挑戰,在那裡,傳統的基於san 和das 的產品都會敗下陣來。panasas 在美國能源部(u.s.department ofenergy:doe)、lawrence livermore 國家實驗室,los alamos 國家實驗室,sandia 國家實驗室,pacific northwest 國家實驗室的高效能計算系統中已得到了初步的應用。在全球範圍內,物件儲存集群系統的效能在企業級hpc 集群的關鍵應用中得以淋漓體現和發揮。osd 將來會從hpc 儲存過渡成主流的企業級儲存嗎?老蔣拭目以待。試想,當年sun

公司的nfs 不就是從最早的技術環境走到主流商業應用的最前線的嗎?

物件儲存成為主流

無論osd 是從hpc 走到企業級應用中,或是通過其他方式,均面臨需要被企業級的使用者所接受這樣的事實。從傳統的儲存變成osd 儲存,需要在多個層面上作改變,這包括,儲存裝置,儲存網路,檔案系統和資料庫。

osd 面臨著巨大的機遇。如garth gibson 博士所講,大規模並行資料儲存的問題通過資料物件,和屬性可以得到解決。在這個時候,物件儲存的特性才得以發揮。而這些都是基於塊的儲存所不能解決的。對 象儲存可以以這種方式使用而與應用無關。應用系統可以和以前使用檔案導向的系統一樣使用,所有的工作通過檔案系統實現對檔案的訪問。這個時候,應用直接存 儲資料物件而

不是向檔案系統寫資料。物件儲存自誕生的那一天起已經表現出其巨大的活力,它可以提供資料安全,容易的資料共享,強大的可擴充套件功能, 完全具備走向企業級資料中心的能力。我們很高興地看到,物件儲存的國際標準已經制定,很多全球一線的儲存廠商和伺服器廠家均加入到此陣營中。各個廠家的對 象儲存產品已經或即將面世。但是,同時我們也看到,物件儲存全面取代傳統的塊存

儲還需時日。

什麼是物件儲存

截止2012年底,1.3萬億的物件被儲存在亞馬遜s3 這個世界上最大以及最廣為人知的物件儲存系統中。當時,這一數字每天以超過10億個物件的速度增加著,因此2萬億大關實為指日可待。物件儲存比傳統的檔案系統儲存在規模上要大得多,這是由於前者比後者著實要簡單得多。物件儲存系統並非將檔案組織成乙個目錄層次結...

什麼是物件儲存?OSD架構及原理

什麼是物件儲存 osd 儲存區域網 san 和網路附加儲存 nas 是我們比較熟悉的兩種主流網路儲存架構,而物件儲存 object based storage 是一種新的網路儲存架構,基於物件儲存技術的裝置就是物件儲存裝置 object based storage device 簡稱osd。物件儲存...

什麼是儲存過程

sql語句執行的時候要先編譯,然後執行。儲存過程就是編譯好了的一些sql語句。應用程式需要用的時候直接呼叫就可以了,所以效率會高。儲存過程介紹 儲存過程是由流控制和sql語句書寫的過程,這個過程經編譯和優化後儲存在資料庫伺服器中,應用程式使用時只要呼叫即可。在oracle中,若干個有聯絡的過程可以組...