摘錄 資料治理 僅作了解

2021-08-15 04:32:36 字數 2046 閱讀 8997

什麼是資料治理?

答:又叫」資料管控」。引用《dama 資料管理知識體系指南》一書給出的定義:資料治理是對資料資產管理行使權力和控制的活動集合(規劃、監控和執行)。資料治理職能指導其他資料管理職能如何執行。

資料元:通過名稱、格式、長度、定義值域等一系列屬性描述的資料單元。

**集:資料元的取值範圍。

資料元類目:按照標準規範對資料元進行分類。

元資料:對資料資源的描述性資訊(資料的資料)。例如資料表的字段就是描述這些資料表中資料的元資料。

元模型:定義各種元資料的結構以及元資料間的關係。

元資料(metadata)使得使用者可以掌握資料的歷史情況,如資料從**來?流通時間有多長?更新頻率是多大?資料元素的含義是什麼?對它已經進行了哪些計算、轉換和篩選等等。在需求不確定情況下,在瞬間萬變的商業環境下,元資料可以更好的支援需求的變化,降低專案風險。

元資料按照適用場景可有以下兩種區分:

元資料貫徹於建立資料倉儲的全過程,不僅僅只是tl過程。

元資料標準不統一,各廠商、各軟體採用不同的元資料標準。業界需要統一的標準,以便各個軟體系統之間可以相互交換元資料。cwg 1.0 (common warehouse metamodel version 1.0) 就是一種,其定義乙個描述資料來源、資料目的、轉換、分析的元資料框架,以及定義建立和管理資料倉儲的過程和操作,提供使用資訊的繼承。目前宣布支援cwm的廠商包括:ibm、oracle、hyperion、dimension edi、genesis iona、hp、ncr和unisys等。

cwm基於3個工業標準:

對每類資料進行治理時,關注點、方法以及效果都不同,需要區別對待。

資料分類

描述主資料(master data)

關於業務實體的資料

事務資料(transactional data)

業務運營過程中的內部或者外部事件或者交易記錄

參考資料(reference data)

用於將其他資料進行分類或者目錄整編的資料

元資料(metadata)

描述資料的資料

統計分析資料(analytical data)

指對企業業務活動進行統計分析的資料

主資料關注的是」人」和」物」,主資料管理是資料治理領域乙個專門的話題,其主要目的是對關鍵業務實體(如員工、客戶、產品、**商等)建立統一檢視,讓客觀世界裡本是同乙個人或物,在資料世界裡也能做到唯一識別,而不是在不同系統、不同業務中成為不同的人或物。

事務資料關注的是」事」,事務資料沒有形成單獨的資料治理領域,由於事務資料是bi分析的基礎,因此往往在資料質量管理中重點關注。

參考資料是更細粒度的資料,是對」人」「事」「物」的某些屬性進行規範性描述的,對參考資料的管理一般會與主資料管理同時進行,或與bi資料質量管理同時進行,因為指標維度和維值直接影響到bi資料質量。

元資料是乙個包羅永珍的概念,其本質是為資料提供描述,所以任何資料都有元資料。資料治理領域的元資料,更多是指bi、資料倉儲這個範疇內的元資料(國際上有common warehouse meta-model規範),此外還有資訊資源管理的元資料(如dublin core協議)、地理資訊元資料、氣象元資料等等。正因為如此廣泛,也造成了從業者對其有極高的預期以及實踐後的極大失落。

現在極少談」元資料」,而是談」資料定義」,談資料必談定義,但卻又不將其作為專門一類資料來管理,在資料治理領域單獨做元資料管理,收效甚微。 主要原因有兩點:

資料生產與資料管理脫節,元資料管理更多是在資料生產的事後進行元資料收集和應用展現,對資料生產起到的管控作用極小;

工具自身問題:雖然很多任務具都號稱支援cwm規範,但元資料自動獲取始終是技術難題,而且對於儲存過程、自定義指令碼很難自動解析和獲取,就無法準確、完整展現細節的資料處理過程。

統計分析資料,目前bi系統建設的主要作用就是做各種指標和報表的計算和展示。統計分析資料往往是資料治理的重點,統計分析資料的資料流分析、統計分析資料的數值的波動性、平衡性監控,幾乎是各個企業做資料治理的必備應用。

摘錄 資料質量管理 僅作了解

需要指定資料質量探查和評估方法,以便初步了解和掌握源資料的資料質量問題,是資料質量保障的基礎。資料質量探查主要從以下四個方面對欄位進行探查 資料質量探查結果按照表級和字段級分別展示。表級給出表整體概述,字段級給出具體的探查行為與結果。建立檢核指標體系,從完整性 有效性 準確性 唯一性 一致性 合理性...

指向類成員指標(僅作了解用)

說明 首先本文涉及的只是對於c 的特性稍作深入了解,在實際開發中應用可能不多。純屬概念和感性認識吧!o o 相對於一般的指標,指向乙個類成員的指標稍微有點 怪異 不過,當你理解了其原理以後,你就不會這麼覺得了。對於一般的指標來說,它被定義為乙個指向某個 位址 的變數,但是,對於指向類成員的指標來說,...

資料治理 VS 公司治理 IT治理 數倉治理

如題,今天要聊得這個話題,包含了四個 治理 看完這張圖你有什麼想法,這張圖說明了什麼?它是在描述公司治理 it治理 數倉治理和資料治理的關係嗎?如果這張圖是在描述四個 治理 之間的層次結構,那你認為哪乙個結構是正確的呢?如果您是企業的高管,您會選擇哪個結構,來實施 治理 呢?01 資料治理 vs 公...