1.資料治理的本質
資料治理的本質是組織對資料的可用性、完整性和安全性的整體管理。
可用性指資料可用、可信且有質量保證,不會因為分析結果的準確性造成偏差,從業者可以放心地根據資料結果做業務決策;完整性分為兩個方面,一方面指資料需覆蓋各類資料應用的需要,另一方面指不會因為資料治理沒有到位而造成資料資產的流失,也即影響資料資產的積累;安全性指治理和分享過程需安全可控,不侵犯使用者隱私,且不會給組織留下安全隱患。
2.資料治理的重要性
資料治理是所有資料應用的根基,資料治理的好壞直接影響所有資料應用的價值。
無論是基於資料看報表,還是做互動式的多維分析,還是做更複雜的個性化推薦,所有的資料應用都需要有乙個良好的資料治理結果。
資料治理是組織資料資產沉澱的基礎,資料治理的好壞直接決定了組織的資料資產能否得到沉澱,能否充分地發揮價值。
在經費條件允許的情況下,可以將企業的所有資料整合在一起,通過良好的許可權管控,充分的共享,聚合所有的業務部門一起去探索資料的應用,因為資料中臺本身就承載著組織內部所有資料的整合分享角色。
問題主要分為兩類:一類因「技術」而起,一類因「人」而起。
1.多業務系統多資料來源的整合挑戰
企業想要做的資料應用越多,所需的資料就會越多,所要去獲取的資料來源也會增多,而相應的資料處理也會越多,這是乙個極為顯而易見的問題。
2.資料採集技術上的挑戰
近年來,許多公司都在嘗試將自己的業務線上化,都需要通過資料對使用者進行分析與運營,如何精準採集可用的使用者資料以及其他相關資料,都將是資料採集在技術層面上面臨的挑戰。
3.使用者隱私與安全挑戰
4.組織架構與部門隔閡帶來的配合
部分組織在資料治理的過程中速度過慢,成效不好,其中乙個很重要的原因是權責、部門配合等方面存在問題。很多情況下,生產資料、使用資料、分析資料的工作人員分布在不同的職能線與部門,角色不同,立場也不同,這些客觀存在的影響因素都會影響整個資料治理的最終結果。
5.業務持續迭代中帶來的挑戰
在網際網路行業中,尤其是業務迭代較為迅速的團隊裡,通常存在「1.0 版本的資料質量最優,1.1 版本不行,2.0 版本完全不可用」的說法,說明第一次做資料治理時,極重視資料質量,會有完善的流程來保證埋點的準確性,本身也沒有太多的包袱;而在後續的產品迭代中,如果流程和標準的迭代相對滯後,整個資料治理的結果也會隨著受影響,最終導致整個資料質量低劣,直至所謂的「完全不可用」。
上述內容已經提到關於組織架構的內容,因其重要性將在本部分單獨說明。
1.資料治理是乙個動態的過程
資料治理實際反映的是組織問題、文化問題,這也是許多公司為了明確權責劃分而建立資料治理委員會的原因。同時,還需要明確的程式與執行程式的計畫,明確的程式指對資料進行治理所需經歷的階段、問題有明細的了解,執行程式的計畫指每一步需要解決哪些問題。當公司的主流業務發生變化時,組織架構會隨之改變,接而帶來資料治理層面的變更,所以,資料治理是乙個動態的過程,伴隨整個業務變更與組織架構變更。
2.資料治理中的兩個核心角色
第一,資料使用者,通常集中在產品經理、資料分析師、營銷經理、運營經理等崗位,有檢視報表、資料分析、使用者畫像、使用者運營等需求,他們屬於資料治理的受益者。
第二,資料生產者,通常集中在前端開發、後端開發、資料工程師、etl 工程師,有埋點、打日誌、做資料 etl 的需求,他們屬於資料治理的付出者,可能看不到直接收益,反而增加工作負擔。
首先,資料治理的核心認識是,資料治理是乙個持續並且長久的乙個過程,不同的產品可以解決比如採集、傳輸等資料治理層面上的不同問題,但並不存在一款所謂的「資料治理產品」,可以用來解決所有問題。
其次,資料治理的整體方**是「從應用倒推」。先確定資料應用、資料資產的需求,接著確定需要哪些資料,之後確定需要從哪種資料來源獲取資料,最終確定具體的資料治理方案。
第一步,確定分析需求。通過了解資料使用者需要看哪些指標、用在哪些場景、使用哪些分析模型等方面來了解具體的資料使用需求,完成需求梳理。
第二步,對映資料模型。在該步驟需確定採集的事件和屬性,並完成事件設計。
第三步,確定資料採集技術方案。根據要採的事件和屬性,結合現有實際業務系統,去確定到底要從何種系統裡以何種技術方案採集資料。
第四步,資料採集與整合。這一步就是指具體的開發、整合工作,包括完成相應的 sdk 整合、資料採集工具的開發、資料 etl 開發等。
第五步,資料校驗和上線。這一步中需要使用必要的測試工具、利用埋點管理平台做資料對比等。
以上來自神策資料《資料治理中的一些挑戰與應用》
Effective C 讀書筆記3
條款8 別讓異常逃離析構函式 c 並不禁止析構函式吐出異常,但不鼓勵這樣做。但如果你的析構函式必須執行乙個動作,而該動作可能會在失敗時丟擲異常,該怎麼辦?兩個辦法解決 一是 如果丟擲異常程式就結束,通常通過呼叫abort函式完成 dbconn dbconn catch 如果程式遭遇乙個於析構期間發生...
C primer plus 讀書筆記(3)
1.系統預設將非整數儲存為double型,所以在計算時會出現將double型轉為float型的警告。2.f float型和double型 d int型 o 八進位制整數型 o 加上 號會有字首0 x 十六進製制整數型 x 加上 號會有字首0x u unsigned int ld long int l...
C primer 讀書筆記(3)
指標 1.指標類似於迭代器,有 操作和 操作。要注意的是,最好不要留下不初始化的指標,這樣很容易引起錯誤,而且很難發現,但是初始化為0的指標是可以被發現的,即不指向任何物件的空指標,所以如果指標暫時沒有要指向的物件,最好初始化為0,也可以用cstdlib庫里的null變數來初始化空指標,null不在...