大資料的淘金之旅,資料治理之資料資產管理

2021-10-06 07:29:43 字數 3738 閱讀 8307

寫在前面:

一、大資料治理:那些年,我們一起踩過的坑

主要講講資料治理工作中常見的一些誤區。

二、要打仗,你手裡先得有張地圖:資料治理之元資料管理

這一篇講講元資料的概念和具體應用場景。

三、不忘初心方得始終:資料治理之資料質量管理

提公升資料質量,始終是資料治理工作中最重要的目標之一。本篇講述如何科學地進行資料質量管理。

四、書同文車同軌:資料治理之資料標準管理

資料標準的落地始終是難題。本篇希望能提供一些資料標準建設的思路。

五、大資料的淘金之旅,資料治理之資料資產管理

不管廠商把它們叫什麼:業務標籤,資料資產,還是知識圖譜管理,本質上都是從資料中提煉出來的資產。怎麼管理和應用好這些資產,是現今資料治理的重要研究課題

這些觀點是一家之言,歡迎同仁們商榷,共同進步。

在講資料資產管理之前,首先需要釐清資料資產和資料資產管理的概念,區分資料和資料資產的區別。

中國信通院聯合多家企業於2023年6月發布了《資料資產管理實踐***4.0》,其中將資料資產定義為:由企業擁有或控制的、能夠為企業帶來未來經濟利益的、以物理或者電子方式記錄的資料資源,如檔案資料、電子資料等。

從這個定義可以看出,資料資產的三個特徵為:

1)「企業擁有或控制」。這個特徵指明了資料是有其主體的,同時也說明了資料資源可能**於企業內部的資訊系統或者日常經營活動的沉澱,同時也有可能是企業通過外部的交換、購買等手段獲取到的。

2)「能帶來未來經濟利益」。這個特徵清楚地表明了在企業中,並非所有的資料都構成資料資產,資料資產是能夠為企業產生價值的資料資源。

3)「資料資源」。這個特徵表明了資料資產的存在形態,是以物理或者電子方式記錄下來的資料。

《資料資產管理實踐***4.0》中對資料資產管理的定義為:規劃、控制和提供資料及資訊資產的一組業務職能,包括開發、執行和監督有關資料的計畫、政策、方案、專案、流程、方法和程式,從而控制、保護、交付和提高資料資產的價值。

從這個定義可以看出,資料資產管理的目的是通過一系列手段,以控制、保護、交付和提高資料資產的價值。

在過去,國內大部分領先企業都陸續建設了erp系統、人力資源系統、**鏈管理系統、物流系統、電子商務系統、整合門戶、協同辦公、決策支援系統等各類資訊化系統,這些系統在支撐企業經營活動的同時,也帶來了資料量的高速膨脹。隨著資料積累逐漸增多,大部分企業在資料管理方面遇到了諸多挑戰:

資料基礎薄弱:大部分企業的資料基礎還很薄弱,存在資料標準混亂、資料質量參差不齊、各業務系統之間資料孤島化嚴重、沒有進行資料資產的萃取等現象,阻礙了資料的有效應用。

資料應用不足:受限於資料基礎薄弱和應用能力不足,多數企業的資料應用剛剛起步,主要在精準營銷、輿情感知和風險控制等有限場景中進行了一些探索,資料應用的深度不夠,應用空間亟待開拓。

資料價值難估:企業難以對資料給業務的貢獻進行評估,從而難以像運營有形資產一樣運營資料。產生這個問題的原因有兩個:一是沒有建立起合理的資料價值評估模型;二是資料價值跟企業的商業模式密不可分,在不同應用場景下,同一項資料資產的價值可能截然不同。

缺乏安全的資料環境:隨著資料的價值越來越得到全社會的廣泛認可,針對資料的犯罪活動日漸猖獗,資料洩露、個人隱私受到傷害等現象層出不窮。很多資料犯罪是因為安全管理制度不完善、缺乏相應的資料安全管控措施導致的。

資料管理浮於表面:沒有建立一套符合資料驅動的組織管理制度和流程,沒有建設先進的資料管理平台工具,導致資料管理工作很難落地。

這些問題已經嚴重影響到資料價值的發揮,導致企業的資料越積越多,卻逐漸成為企業的負擔,大資料管理部門也成為企業的成本中心,而不是創新中心和利潤部門。

資料資產管理是資料中臺面向企業提供資料能力的乙個視窗,資料資產中心將企業的資料資產統一管理起來,實現資料資產的可見、可懂、可用、可運營。

可見:通過對資料資產的

全面盤點,形成資料資產地圖。從資料生產者、管理者、使用者等不同的角度,用資料資產目錄的方式共享資料資產,使用者可以快速、精確地查詢到自己關心的資料資產。

可懂:通過元資料管理,完善對資料資產的描述。同時在資料資產的建設過程中,注重資料資產業務含義的提煉,將資料加工和組織**人可懂的、無歧義的資料資產。具體來說,在資料中臺之上,需要將資料資產進行標籤化,標籤是面向業務視角的資料組織方式。

可用:通過統一資料標準、提公升資料質量和資料安全性等措施,增強資料的可信度,讓資料科學家和資料分析人員沒有後顧之憂,放心地使用資料資產,降低因為資料不可用、不可信而導致的溝通成本和管理成本。

可運營:資料資產運營的最終目的是讓資料價值越滾越大,因此資料資產運營要始終圍繞資產價值來開展。通過

建立一套符合資料驅動的組織管理制度流程和價值評估體系,促進資料資產建設過程的不斷改進,提公升資料資產管理的水平,提公升資料資產的價值。

dama和dcmm對資料治理的定義都是:資料治理(

data governance,dg

)是指對資料資產管理行使權力和控制的活動集合(規劃、監督和執行)。傳統的資料治理內容通常包含:資料標準管理、元資料管理、資料質量管理、資料安全管理、資料生命週期管理等內容。

本文沿用的中國信通院對資料資產管理的定義是:規劃、控制和提供資料及資訊資產的一組業務職能,包括開發、執行和監督有關資料的計畫、政策、方案、專案、流程、方法和程式,從而控制、保護、交付和提高資料資產的價值。

從上面兩段描述看出,資料治理和資料資產管理的定義有異曲同工之處,它們圍繞的物件都是資料資產。而中國信通院在《資料資產管理實踐***4.0》中闡述的資料資產管理八大職能中,諸如資料標準管理、元資料管理、資料質量管理、資料安全管理等,同時也屬於傳統資料治理的必要工作內容。資料資產管理在傳統資料治理的基礎上,加入了資料價值管理、資料共享管理等內容。

近些年的發展來看,資料治理的目標正從「以質量管理為主」,過渡到「質量管理與服務並重」。基於上面的論述,作者認為,資料資產管理就是傳統的資料治理的公升級版,可以認為是資料治理2.0。資料資產管理與資料治理之間的關係可以用下圖來表示。

在本文中,不再另外闡述資料治理的內容。

資料資產地圖

資料資產地圖為使用者提供多層次、多視角的資料資產圖形化呈現形式。資料資產地圖讓使用者用最直觀的方式,掌握資料資產的概況,如資料總量、每日資料增量、資料資產質量的整體狀況、資料資產的分類情況、資料資產的分布情況、資料資產的冷熱度排名、各個業務域及系統之間的資料流動關係等。

2.資料資產目錄

資料資產目錄通過對資料資產良好地組織,為使用者帶來直觀的體驗,可以使使用者花較少的時間查詢到自己關心的資料資產。

資料資產目錄的組織方式靈活多樣,常見的有按業務域組織、按資料**組織、按資料型別組織。

根據使用者角色的不同,資料資產目錄有多種展現視角,概括來講,有這三類使用者角色:資料資產開發者、資料資產管理者、資料資產使用者。

資料資產開發者關注當前開發的資料資產是否有重複,是否有準確的定義,通過資料資產目錄,資料資產開發者可以將自己負責開發的資料資產發布到合理的資產目錄下。

資料資產管理者必須掌握資料資產的全域性情況,包括擁有哪些資料資產、資料資產分布在**、資料資產的質量情況、資料資產的使用情況等。資料資產管理者通過對資料資產的合理授權,控制資料資產的使用。

資料資產使用者關心資料是什麼、資料在**、如何獲取到資料。通過資料資產目錄和獲取到的合理授權,資料資產使用者能快速定位到自己需要的資料資產,掌握資料資產的存在形式是什麼(結構化還是半結構化),如何獲取到自己想要的資料,評估現有的資料資產能否滿足所建應用的需要。

3.資料資產檢索

資料資產檢索服務為使用者提供一鍵式資產檢索服務,通過對關鍵字的匹配,資料資產門戶檢索出相關的資料資產集,使用者可以根據所需,找到相關資料資產,可以檢視資料資產的名稱、建立者、業務語義、加工過程等詳情,幫助其理解和使用資料。

大資料治理體系如何搭建

確定了資料治理的目標後,接下來的搭建工作就分為四個部分來執行,分別是 管理域 過程域 治理域 技術域 價值域。對於運營合規的目標,我們的首要工作就是搭建管理域的工作。一 管理域的工作主要是確定戰略 搭建組織 制定制度 明確規範 我們需要做到的是戰略是各個業務部門都知悉明確的,組織應該是跨整個集團部門...

大資料治理的誤區有哪些

大資料時代,資料成為社會和組織的寶貴資產,像工業時代的石油和電力一樣驅動萬物,然而如果石油的雜質太多,電流的電壓不穩,資料的價值豈不是大打折扣,甚至根本不可用不敢用,因此,資料治理是大資料時代我們用好海量資料的必然選擇。那麼對於資料治理得誤區有哪些?誤區一 客戶需求不明確 客戶既然請廠商來幫助自己做...

使用大資料,就像在沙子裡淘金

怎樣的大資料才意味著突破 在過去幾年,我們這個世界上的資料的增長速度,相當於之前5年 10年的50倍。大資料為什麼在這個點上爆發?主要原因是,摩爾定律使得儲存的資料量空前擴張。與此同時,類似rfid那樣的感測器技術也得到了質的提公升。於是,就出現了這樣的例子 當某著名服飾品牌把rfid的晶元放在衣服...