元資料管理系統的研究與實現

2021-06-26 17:01:35 字數 2347 閱讀 8906

摘 要: 元資料就是描述資料的資料,隨著資訊科技的快速向前發展,元資料在地理空間資訊資源共享過程中起著關鍵的作用。

元資料有自己的標準,這個標準的主要作用是介紹了元資料的組成元素和分類應用,提出了一些元資料建庫的基本原則,

1.概述

空間資料不斷的增多,進行分析和處理,元資料就是描述資料產生的,讓抽象的空間資料具體化,豐富管理手段。

描述空間資料的元資料稱為空間元資料,以結構化的形式描述了地理資料集的內容,質量,表示方法,空間參考,管理方式及資料集的其他特徵。

可以提供對空間資訊的搜尋導航,便於資料的轉換,維護,理解和使用。

建立一套空間元資料管理,提供對元資料的採集,管理,維護和網路發布,是元資料專案實施的當務之急。

元資料的管理,包括元資料的標準,元資料的建立,從xml格式的元資料匯入資料庫中,從資料庫中到出資料為xml格式,元資料的目錄關聯管理,元資料的檢索及元資料的編輯等。

2.元資料的標準

元資料由描述資料特徵的元素組成。

資料標準一般包括:表示方法的說明,元資料字典,按層次關係的元素組織(元資料模式),元資料擴充套件與專用標準定義。

和3個可選元資料,用以描述空間資料的標識、內容、管理等資訊。

元資料模式有乙個xsd(xml)檔案所定義,主要描述了對元資料的一些約束和層次關係。

元資料元素(metadata element):元資料的基本單元,用以描述空間資料的某個特性。

資料集(dataset):可標識的資料集合。

3.建立元資料庫

要通過元資料標準檔案建立元資料庫,第一步需要做的是解析這個元資料標準檔案。因為xsd檔案時乙個標準的格式定義,

所以解析它不是很困難。這裡推薦兩種解析方案,第一種相對來說比較簡單,利用微軟的乙個解析xsd的工具,

它會自動生成乙個檔案(c#的**檔案),其實它生成的就是乙個資料集(這個資料集是指的c#裡面的資料集,

專門用於管理資料集合,可以是一張物理表,也可以是多張表,而且它可以維護資料表之間的關係)。

這個方案的好處是不用寫一行**就可以擁有乙個完整的資料集來解析這個標準檔案,而且這個資料集在以後管理一條元資料時非常方便。

第二種方案就是完全按照個人的思路,把它當成普通的xml格式檔案,讀入並自己分析他們之間的關係,可以專門寫乙個這樣的解析類,

同樣可以達到上面一樣的效果,只是程式相對來說比較複雜,而且維護元資料的時候還需要自己專門寫處理類。

但是它的好處也是顯而易見的,就是更加靈活,怎樣解析完全由自己掌控,只要自己寫的解析類沒有bug,這種解析方案還是很不錯的。

本系統採用的是第一種方案,因為這樣可以節約大量的時間,當然程式穩定性也會更加好。具體怎樣利用微軟的那個**生成工具可以在google上收索,而且操作也是相對簡單的。

4. 系統體系結構設計

本系統包含有元資料採集系統、元資料建庫和管理系統、基礎資料庫目錄查詢系統。

實現本系統時,通過元資料編輯器,元資料管理工具(元資料服務配置管理工具、元資料匯入匯出工具、目錄管理工具)、元資料伺服器、元資料查詢系統提供相應的功能和服務。

2)元資料庫建立:元資料庫用於儲存元資料,所以就是建立儲存元資料的資料庫。

3)元資料轉換:負責在oracle資料庫與xml格式檔案相互轉化。

4)元資料目錄關聯:負責建立目錄與元資料之間的關聯關係,這樣就可以通過目錄來檢視元資料資訊,也可以更好的對元資料進行分類管理。

6)顯示元資料的詳細資訊:由於元資料的內容多,而且每一條元資料的格式可能不完全相同,所以單獨用乙個模組來展示一條元資料的詳細資訊。

5.關鍵技術與現實方案

本系統採用的c#的winform工程實現的,所以以下所有技術的實現都是採用的c#語言。

5.1tree控制項與xml相互轉化

tree控制項就是常說的樹形控制項,因為它的結構很像樹。tree控制項和xml格式上很相似,都有遞迴的思想在裡面,所以它們之間可以通過程式相互轉化,程式中也會用到遞迴的思想。具體請參考下面的**,有詳細的注釋。

1)xml向tree轉化

2)tree向xml轉化

5.2 oracle與xml相互轉化

xml格式的元資料是元資料的一種主要**,把xml格式的元資料匯入資料庫是所有工作的前提,也是很重要的乙個功能。

同樣把oracle中的資料匯出為xml格式有著同樣的意義。下面實現這兩個功能的具體**,用到了上面提到的資料集

(通過微軟工具自動生成的newdataset資料集,管理有關一條元資料的15張表)。

6.總結

本文介紹的元資料管理系統能夠很好很方便的管理元資料,讓元資料發揮更加重要的作用。

元資料的組織、儲存、表達、傳輸、查詢、管理等是元資料管理系統實現時必須考慮的一些問題。

在將來的工作中,要結合資訊科技領域的新進展,對元資料庫機制進一步完善,並在面向網路的大型地理資訊系統中發揮支柱作用。

參考:

元資料管理

大資料倉儲越來越重視元資料的管理,但是元資料怎麼管理,還處於探索階段。這樣帶來的弊端顯而易見,就是1 及時性達不到,2 準確性達不到,3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉,迫切需要乙個介面展示具體指的意思,業務統計口徑等,用乙個web介面展示,但是後端還是e...

元資料管理

元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時,提供採集日誌資訊的檢視,檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌,採集的數量等等。元資料採集完成後,儲存在資料庫中,支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...

元資料管理檔案系統

接下來看一些具體的東西。從形式上講,元資料可分為記憶體元資料和元資料檔案兩種。其中namenode在記憶體中維護整個檔案系統的元資料映象,用於hdfs的管理 元資料檔案則用於持久化儲存。namenode將檔案系統的元資料以不同的檔案儲存在本地磁碟中,其中最重要的兩個檔案是fsimage 和edits...