業務元資料管理 洞悉資料背後的業務含義

2021-08-19 12:57:27 字數 3469 閱讀 4024

目前,很多企業已經意識到,由於業務人員看不懂系統中儲存的資料,所以難以通過大資料來提公升業務創新能力,本文就來談談解決這個問題的方法——業務元資料管理。(同系列文章王軒的文章《面向業務的企業元資料管理》)

目錄:

一、計算機和人之間出現「語義屏障」

二、業務元資料——資料背後的業務上下文

三、基於本體的業務元資料管理實踐

四、總結與展望

大概70多年前的乙個情人節,eniac誕生在了美國賓夕法尼亞大學,從此人類開啟了在計算機「智慧型化」上的探索,「語言識別」、「影象識別」、「自然語言處理」各種技術日益成熟,我們幾乎可以往計算機系統中輸入任何想輸入的資訊,但是反過來,我們能否正確理解計算機的輸出資料?

隨著資料的增多,我們發現已經很難弄清楚這些資料背後的具體含義——我們和計算機系統之間的語義屏障已經產生。語義屏障的存在,給企業帶來了一系列問題:

以上一系列問題的出現,歸根結底是因為企業員工「讀不懂」計算機中的資料,企業需要打破計算機與人之間的語義屏障,將計算機輸出變成業務人員可理解的業務語言,避免這些問題的發生,業務元資料正是解決問題的關鍵

要說清楚業務元資料是什麼,得從元資料的分類說起,目前業界比較認可的一種分類方式是將元資料分為兩種:技術元資料和業務元資料。

技術元資料報括:欄位名稱、字段長度、資料庫表結構等。

業務元資料報括:業務名稱、業務定義、業務描述等。

業務元資料使用業務名稱、定義、描述等資訊表示企業環境中的各種屬性和概念,從一定程度上講,所有資料背後的業務上下文都可以看成是業務元資料。與技術元資料相比,業務元資料能讓使用者更好地理解和使用企業環境中的資料,比如使用者通過檢視業務元資料就可以清晰地理解各指標的含義,指標的計算方法等資訊。

下圖是兩個具體的例子:

左圖是某建築公司的一張報表,我們可以看到,報表中包含了報表名稱、填報時間、製表人和報表表頭名稱等,這些都是**值的業務元資料;右圖是某公司新員工入職申請表,和報表類似,申請表名稱、姓名、性別等申請表各欄名稱都是業務元資料。

目前,大部分企業只關注到了技術元資料,忽略了對業務元資料的管理。技術元資料缺少業務含義,很難被技術人員之外的人所理解,比如可能用「rec_temp_fld_a」表示某個字段,用「236in_tab」表示資料庫中的某張表,在不被理解的情況下很難給企業業務帶來收益。業務元資料能代表資料背後的業務含義,企業在對技術元資料管理的同時需要注重業務元資料的管理。

與技術元資料相比,業務元資料**更複雜,散在企業環境的方方面面,為實現業務元資料的管理,企業需要有效的方法和手段。

前業界比較認可的本體定義是:共享概念模型的明確的形式化規範說明。其中,概念模型是將客觀世界中的一些現象抽象出來得到的模型,是客觀世界的抽象和簡化;共享是指,本體中所描述的知識不是個人專有的而是領域公認的;明確是說,對於所使用的概念的型別以及概念用法的約束都明確地加以定義;形式化是指,本體是機器可讀的,同時也是人類可理解的。

總結之,本體能夠對領域中的客體進行分析,並找出這些客體之間的關係,從而明確、形式化地描述這個領域中的業務。

下圖是「合同」本體的視覺化表示,從圖中可以看到「合同」這個本體中包含了「合同許可權」、「合同條款」、「合同義務」等大量與合同有關的概念和「conformed by」、「implied by」、「has terms」等概念之間的關係,能夠讓人們充分理解合同相關業務。因為本體是機器可讀的,這意味著,若企業能夠構建出業務相關的所有本體,通過本體的方式來管理業務元資料,就可以消除計算機與人類之間的語義屏障。

通過本體來管理業務元資料需要注意三個關鍵點:本體的構建、本體的儲存、本體的使用。

1、構建——採用元資料管理自動化構建本體

傳統構建本體的方式是根據業務專家的建議,人工梳理出業務領域的本體,這種人工梳理的方式存在一系列問題:

工具問題:業務專家缺少具備自動化能力的工具,導致複雜本體的構建要消耗大量的時間和資源。

在大資料環境下企業需要新的本體構建方式,企業可以通過元資料管理工具自動抽取企業應用系統和各類文件中的元資料,初步形成本體之後,再交給業務專家二次審核,最後完成企業本體的構建。

2、儲存——以mof為基礎實現owl規範儲存本體

本體的儲存需要依據一定的標準,同時儲存的方式需要具備靈活性和擴充套件性。owl規範是w3c推薦的規範,是目前廣泛認可的本體儲存與交換規範,由於我們的元資料基於mof,可以在元模型中建立owl的元模型,所以能實現本體在元資料庫內的儲存和管理。

由於技術元資料和本體都已經儲存在元資料庫中,而本體本來也是從技術元資料中抽取出來的,這樣很容易獲得本體和技術元資料之間的關聯,讓業務人員清晰地了解資料背後的業務含義。

3、使用——通過業務元資料服務,獲得業務上下文

最後,需要把業務元資料的服務提供給所有業務人員,內嵌在業務人員的工作環境中,使業務人員能夠快速地從業務角度理解資料,從而幫助業務人員更好地使用資料。

最後用一句話做下總結,業務元資料是未來元資料管理的關鍵,大資料時代下企業更需要加強業務元資料管理,企業可以基於本體,採用自動化的手段管理業務元資料,並將業務元資料以服務的形式提供給業務人員使用,從而幫助業務人員更好地使用資料。

關於作者

龔菲

關於eaworld

業務元資料管理 洞悉資料背後的業務含義

本文講的是業務元資料管理 洞悉資料背後的業務含義,目前,很多企業已經意識到,由於業務人員看不懂系統中儲存的資料,所以難以通過大資料來提公升業務創新能力,本文就來談談解決這個問題的方法 業務元資料管理。同系列文章王軒的文章 面向業務的企業元資料管理 目錄 一 計算機和人之間出現 語義屏障 二 業務元資...

元資料管理

大資料倉儲越來越重視元資料的管理,但是元資料怎麼管理,還處於探索階段。這樣帶來的弊端顯而易見,就是1 及時性達不到,2 準確性達不到,3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉,迫切需要乙個介面展示具體指的意思,業務統計口徑等,用乙個web介面展示,但是後端還是e...

元資料管理

元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時,提供採集日誌資訊的檢視,檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌,採集的數量等等。元資料採集完成後,儲存在資料庫中,支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...