繼續談資料治理
今天我們來**一下關於資料治理的靈魂三問:
1、資料治理治什麼,治的是資料嗎?
2、資料治理在**治,中臺還是後台?
3、資料治理到底怎麼治?
一、資料治理治的是「資料」嗎?
在我們的生活和工作當中,資料無處不在。對企業來講,有很多資料是無關企業重大利益的資料,是沒有治理的必要的。資料治理的物件必須是重要的資料資源,是關乎企業重大商業利益的資料資源,這樣的資料資源可以稱其為「資料資產」。正如北大教授王漢生先生所說:「資料治理不是對「資料」的治理,而是對「資料資產」的治理,是對資料資產所有相關方利益的協調與規範。」
我們需要分開來理解這句話:
①什麼是資料資產?
②資料資產的相關利益方是誰?
③協調與規範什麼?
1.什麼是資料資產?
我們說不是所有資料都是資料資產,那到底什麼才是資料資產呢?
《企業會計準則-基本準則》第20條規定:「資產是指企業過去的交易或者事項形成的、由企業擁有或者控制的、預期會給企業帶來經濟利益的資源。」 如果照貓畫虎修改一下,不難獲得乙個關於資料資產的定義:「資料資產是指企業過去的交易或者事項形成的,由企業擁有或者控制的,預期會給企業帶來經濟利益的資料資源。」
由此可見,資料要成為資料資產,至少要滿足3個核心必要條件:
①資料資產應該是企業的交易或者事項形成的;
②企業擁有或者控制;
③預期會給企業帶來經濟利益。
2.資料資產的利益相關方是誰?
根據資料資產的定義,資料資產的利益相關方,包括:①資料的生產者,即通過業務交易或事項產生資料的人或組織。②資料的擁有或控制者,生產資料的人不一定是擁有資料,就像我們天天上網的各種資料都不歸我們自己所有,而是落在了各個網際網路公司的資料庫中。
③資料價值和經濟利益的收益者。資料治理就是對資料生產者、擁有或控制者,資料價值獲益者的規範和協調。
3.都什麼是需要協調和規範?
首先是資料的標準化,定義統一的資料標準,「寫中國字、說普通話」讓資料資產的相關利益方在同乙個「頻道」溝通。
資料的標準化包含幾個層面:①資料模型標準化。②核心資料實體的標準化(主資料的標準化)。③關鍵指標的標準化。關於資料標準化這裡不再展開,有需要深入了解的朋友請參考筆者之前寫的文章:《資料治理系列3:資料標準管理》。
第三是流程的優化。資料治理的兩個目標:乙個是提質量,乙個是控安全。網際網路資料的確權目前已經是乙個世界級難題,做好企業業務流程的優化可能會對隱私保護起到一定的作用。通過業務流程優化,規範資料從產生、處理、使用到銷毀的整個生命週期,使得資料在各階段、各流程環節安全可控,合規使用。另外,通過一定的流程優化,通過對相關流程進行監管,按照資料的質量規則進行資料校驗,符合「垃圾進、垃圾出」的資料採集、處理、儲存原則,提公升資料治理,賦能業務應用。
二、資料治理到底在**治?
關於資料中臺到底應該在中颱治理還是應該在後台治理,這個話題在筆者所在的資料圈子中引起了激烈的討論。群裡參與討論的都是業界的大咖,討論內容也十分精彩。
資料治理到底應該放在中臺,還是後台,我個人的理解是:小資料標準化治理靠人工、大資料**性分析靠智慧型,將兩者結合起來:「人工+智慧型」形成了完整的資料治理技術體系。乙個企業的資料治理既離不開小資料的標準化治理,也離不開大資料的**性分析。
這裡的小資料,是在承載事物實體的資料,例如:人、財、物等,是企業所有業務開展的載體。其實說白了就是主資料管理。對於主資料的治理筆者認為是乙個後台行為,治理核心是「唯一資料來源、統一資料標準」,而要達到這一目標是需要從資料的源頭抓起的,並且需要大量的人為干預,比如:資料標準的制定和落實,資料質量的清洗,資料的申請審批,資料的分發和共享等。從這裡也能夠看出小資料的治理,追求的是標準化、精確化,應該是乙個後台行為。
而在大資料時代,得益於大資料技術的突破,大量的結構化、非結構化、異構化的資料能夠得到儲存、處理、計算和分析,這一方面提公升了我們從海量資料中獲取知識和洞見的能力。對於大資料,傳統的一味追求精確的思維受到了挑戰。而對於大資料的治理,允許一定程度上的容錯,反而可以在巨集觀層面擁有更好的知識和洞察力。對於大資料的治理更多的是採用ai技術,例如:知識圖譜、語音識別等,對大資料的採集、處理、使用過程加以控制,使其能夠合規使用。所以,大資料的治理放在中臺似乎更為合適。
三、資料治理到底應該怎麼治?
資料到底怎麼治,這確實是乙個寬泛的話題,首先是要明確治理的內容。針對不同的治理內容採取不同的資料治理策略。關於小資料和大資料的治理側重點上文已經說明。以下為筆者在資料治理領域總結的資料治理十大關鍵實踐:
1、成立組織,育人才
資料治理的根本目標的是提公升資料質量,控制資料安全和合規使用。資料治理涉及範圍廣,參與人員多,需要一定的組織和制度的保障才可能獲得成功。首先,依據行業經驗來看,不論是基於後台的小資料治理,還是基於中颱的大資料治理,「一把手」工程是資料治理組織建設的最佳實踐。尤其是中颱資料治理更是上公升至企業戰略層面,自下而上的治理幾乎不太可能成功。其次,資料治理組織的建立並是組建乙個非臨時團隊,而是要能夠支撐企業資料化業務的乙個完整體系,包括:組織體系、管理體系、執行體系、技術體系等。第三,資料治理組織的人員選拔和人才培養,不同企業應有不同的策略。一般來說,建立資料治理組織從企業內部進行選拔相應的技術專家、業務專家更為合適,要比從外部招聘更能夠快速上手。不過,對於傳統企業,其內部更偏管理,資料治理團隊建設更多需要借助外部力量
2、需求調研,摸家底
與資料專案一樣,詳細需求調研是開展資料治理工作的第一階段的重要工作。本階段主要是理解企業的戰略,並按照從上而下的策略進行開展企業資料管理的現狀調研,摸清楚企業資料資產的分布、資料的質量、資料的管理現狀、資料應用需求等情況。該階段的工作目標是確定資料治理專案的目標和範圍,評估資料治理成熟度,確定改進內容和方向並與客戶達成共識。
3、梳理資料,建標準
按照業務主題進行資料資產的梳理,並制定資料資產的標準。首先,定義資料資產元模型標準,包括:資料資產的資料含義、業務規則、質量規則、資料**、儲存路徑、管理部門、管理人等,即資料資產的元資料標準,定義好資料模型是資料治理成功落地的重要前提;其次,重點對企業的核心資料資產——主資料進行標準化,包括:主資料標準化定義、參照字典的標準化、資料清洗、資料服務共享等;第三,對業務指標的屬性的標準化,指標的屬性分為「業務屬性」和「技術屬性」兩類,業務屬性包含業務人員通常認識的指標分類、名稱、計算公式、展現方式和查詢許可權等;技術屬性包含技術運維人員所關心的系統**、取數字段、取數頻率、加工規則等,其核心也是元資料管理。
4、優化流程,定制度
對於企業而言,資料**於很多方面,內部資料如財務、人力、**鏈、生產、銷售等;外部資料如政治、經濟、社會、科技、行業、市場、競爭對手等。雖然資料**廣、資料量大是優點,但如果不加以整理和關聯,雜亂無章的資料不僅不利於分析應用,還將帶來不必要的人財物的消耗。所以,非常有必要對資料產生、採集、處理、加工、使用等過程進行規範。通過統一資料標準,制定合理的資料管理流程和制度,規範資料生產**的過程。
5、搭建平台,接資料
資料治理平台的搭建要根據不同的客戶需求搭建不同模組,資料治理平台主要涵蓋功能模組有:元資料管理、主資料管理、資料質量管理、資料標準管理、資料安全管理、資料模型工具、etl工具等。資料接入是將各種**、各種型別的資料,通過資料整合工具將這些零散的資料整合在一起,納入統一的大資料平平台或資料倉儲中,這一過程需要符合資料治理平台定義各種資料標準、質量規則、安全指標。所以,我們說資料治理專案不是為了治理資料而建設的,而是配合大資料平台、資料倉儲、資料分析挖掘等專案,通過提公升資料質量、控制資料安全,讓資料發揮出最大的效益。
6、建立指標,提質量
提公升資料質量是企業資料治理的重要目標,也是企業進行資料分析挖掘、業務管理和決策的重要基礎,只有建立完整的資料質量體系,才能有效提公升企業資料整體質量,從而更好的為業務服務。從技術面上講,定義完整全面的資料質量的評估維度,包括完整性、時效性等,並按照已定義的維度,在系統建設的各個階段都應該根據標準進行資料質量檢測和規範,及時進行治理,避免事後的清洗工作。
7、優化模型,控安全
資料安全治理,始於資料資產梳理。通過對資料資產的梳理,可以確定敏感資料在系統內部的分布、確定敏感資料是如何被訪問的、確定當前的賬號和授權的狀況。根據企業的資料價值和特徵,梳理出企業的核心資料資產,對其分級分類,通過資料治理工具進行建模,定義敏感資料位置、描述和處理方式,保證資料的合規合法使用。
8、開放服務,促應用
資料的治理是為促進資料更好的應用,一切不以應用為目的資料治理都是耍流氓。通過資料資產目錄、微服務等技術將資料進行開發共享,促進資料在企業中的應用,使得資料作為企業的寶貴資產應用於業務、管理和戰略決策中,發揮資料資產價值。
9、賦能業務,抓創新
資料賦能是在管理和業務應用中發揮資料更大的價值,以資料驅動業務的落地。資料賦能核心是,①匯聚資料:完善企業內部資訊資料化,採集外部資料;②治理資料:整合資料,清洗、轉換、分析、服務;③應用資料:以資料為驅動將洞察結果應用到實際業務中去,推動企業業務和管理的創新。
10、持續優化,再出發
筆者認為企業的資料治理是乙個螺旋上公升模型,需要不斷的迭代和優化。資料治理不能一蹴而就,需要建立起長效的持續運營機制,要將資料治理變成企業的一種機制、一種文化、一種習慣,而資料治理每一次迭代優化都預示著企業資料戰略目標的再出發!
什麼是資料治理?
資料治理是在資料生命週期 從獲取 使用到處置 內對其進行管理的原則性方法。每個組織都需要資料治理。隨著各行各業中的企業進行數位化轉型,資料已迅速成為他們擁有的最有價值的資源。高階管理人員需要使用準確 及時的資料來做出戰略性業務決策。營銷和銷售專業人員需要使用可靠的資料來了解客戶的需求。採購和 鏈管理...
資料安全治理問題 究竟是什麼問題?
小d最近的班上的真是比較煩 原來是他們公司正全力推進數位化轉型 小d在領導的吩咐下將要負責 資料統計 資料備份 重要資料修復 資料排查 等等 一系列資料安全治理問題 讓小d摸不著頭腦 正文開始 隨著大資料技術的快速發展,大資料應用的不斷普及,資料已成為像小d公司一樣的企事業單位的戰略資產,這一點已經...
MSP是什麼 MSP的九個治理主題
關於九個治理主題 這裡講的治理是指專案群的管理框架,通過這個框架,專案群可以實現它們的變革目標,並使它們在組織內部為人所見並且可控。在現有的組織管理和控制框架內,專案群的管理框架需要同組織的管理架構相融合。msp 每乙個主題都詳細描述了管理專案群所必須的 一致的管理控制行為。這些管理主題是 專案群管...