可搜尋的元資料模型

2021-06-21 14:05:35 字數 823 閱讀 1929

現有的元資料管理是單獨建立乙個元資料資料庫,這會帶來一致性和管理方面的問題。所以我們提出一種新的元資料體系結構——magellan,能夠有效且直接的查詢元資料資訊。

主要包括以下幾方面關鍵技術:(1)將inode資訊記錄在磁碟上,以有效的支援元資料的檢索。(2)根據資料結構對inode建立索引,允許快速的多屬性查詢,並支援對所有元資料資訊的查詢。(3)查詢路由技術來盡量減小搜尋空間的規模。(4)新型的日誌機制來保證高效的更新效能和元資料可靠性。

通過實驗結果分析,對百萬級檔案的查詢響應時間保證在毫秒級(一秒內)。

扁平化搜尋能夠定位特定的元資料,並擴充套件檔案屬性。支援基於屬性的複雜或組合的查詢請求,幫助使用者定位、管理和分析資料。

然而現有的元資料模型無法支援扁平化搜尋,進而演變出將元資料分離,建立單獨的資料庫,交給上層應用進行搜尋。但是,這種搜尋應用程式僅能有效支援台式電腦或者小型伺服器,在處理大規模資料時,仍存在一些固有的缺陷和限制。首先,搜尋程式必須跟蹤檔案系統的所有元資料更新操作,這對於十億級以上的檔案規模來說是乙個巨大的挑戰。其次,元資料的更新必須能夠進行快速的重索引(re-index),以防止返回給使用者錯誤的結果。然而,保持元資料索引的實時一致性是非常困難的。最後,搜尋程式需要鉅額的磁碟、記憶體和cpu資源。在小型系統中是可行的,但在大型系統中卻無法容忍。

所以,可行的方案是直接針對檔案系統建立元資料的搜尋功能,以提供實時的元資料檢索。面臨的挑戰是:(1)為了滿足快速檢索的需求,元資料必須是有組織的。(2)這種組織模型必須提供良好的檔案系統效能。關係型資料庫面對這種需求顯得頗為無力。

magellan採用優化的查詢布局,索引和更新機制來保證搜尋的效能。所有的元資料查詢,都由統一的搜尋結構來處理,以避免冗餘的資料結構。

概念資料模型 邏輯資料模型 物理資料模型

概念資料模型設計與邏輯資料模型設計 物理資料模型設計是資料庫及資料倉儲模型設計的三個主要步驟。在資料倉儲領域有乙個概念叫conceptual data model,中文一般翻譯為 概念資料模型 概念資料模型是終端使用者對資料儲存的看法,反映了終端使用者綜合性的資訊需求,它以資料類的方式描述企業級的資...

概念資料模型,邏輯資料模型,物理資料模型

在資料倉儲領域有乙個概念叫conceptual data model,中文一般翻譯為 概念資料模型 概念資料模型是終端使用者對資料儲存的看法,反映了終端使用者綜合性的資訊需求,它以資料類的方式描述企業級的資料需求,資料類代表了在業務環境中自然聚集成的幾個主要類別資料。概念資料模型的內容包括重要的實體...

資料模型的概念,資料模型的作用和資料模型的三個要素

資料模型是資料庫中用來對現實世界進行抽象的工具,是資料庫中用於提供資訊表示和操作手段的形式架構。一般地講,資料模型是嚴格定義的概念的集合。這些概念精確描述了系統的靜態特性,動態特性和完整性約束條件。因此資料模型通常由資料結構,資料操作和完整性約束三部分組成 1 資料結構 是研究的物件型別的集合,是對...