資料倉儲為什麼要分層

2021-09-13 15:43:18 字數 929 閱讀 1371

資料倉儲為什麼要分層

如何分層

為什麼要分層

空間換時間。通過建設多層次的資料模型供使用者使用,避免使用者直接使用操作型資料,可以更高效的訪問資料。

把複雜問題簡單化。講乙個複雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。而且便於維護資料的準確性,當資料出現問題之後,可以不用修復所有的資料,只需要從有問題的步驟開始修復。

便於處理業務的變化。隨著業務的變化,只需要調整底層的資料,對應用層對業務的調整零感知.

分層的價值

高效的資料組織形式【易維護】

面向主題的特性決定了資料倉儲擁有業務資料庫所無法擁有的高效的資料組織形式,更加完整的資料體系,清晰的資料分類和分層機制。因為所有資料在進入資料倉儲之前都經過清洗和過濾,使原始資料不再雜亂無章,基於優化查詢的組織形式,有效提高資料獲取、統計和分析的效率。

時間價值【高效能】

資料倉儲的構建將大大縮短獲取資訊的時間,資料倉儲作為資料的集合,所有的資訊都可以從資料倉儲直接獲取,資料倉儲的最大優勢在於一旦底層從各類資料來源到資料倉儲的etl流程構建成型,那麼每天就會有來自各方面的資訊通過自動任務排程的形式流入資料倉儲,從而使一切基於這些底層資訊的資料獲取的效率達到迅速提公升。

從應用來看,使用資料倉儲可以大大提高資料的查詢效率,尤其對於海量資料的關聯查詢和複雜查詢,所以資料倉儲有利於實現複雜的統計需求,提高資料統計的效率。

整合價值【簡單化】

資料倉儲是所有資料的集合,包括日誌資訊、資料庫資料、文字資料、外部資料等都整合在資料倉儲中,對於應用來說,實現各種不同資料的關聯並使多維分析更加方便,為從多角度多層次地資料分析和決策制定提供的可能。

歷史資料【歷史性】

記錄歷史是資料倉儲的特性之一,資料倉儲能夠還原歷史時間點上的產品狀態、使用者狀態、使用者行為等,以便於能更好的回溯歷史,分析歷史,跟蹤使用者的歷史行為,更好地比較歷史和總結歷史,同時根據歷史**未來。

資料倉儲為什麼要分層

如何分層 ods層是將oltp資料通過etl同步到資料倉儲來作為資料倉儲最基礎的資料 在這個過程中,資料經過了一定的清洗,比如欄位的統一,髒資料的去除等,但是資料的粒度是不會變化的。ods層的資料可以只保留一定的時間。mid中間層是採用inmon集線器架構的方式,使用正規化建模 貼源 的方法。這一層...

資料倉儲為什麼要分層

第一家公司的老數倉技術架構 mysql kettle,分層s ods 層 b層 有點記不清了,乙個是取資料,乙個是做拉鍊 m層 根據業務設計的表 貸前loan before 貸後loan after,並且是拉鍊表 h a層 a fc analysis user info a fc analysis ...

資料倉儲?為什麼要分層?

我們對資料進行分層的乙個主要原因就是希望在管理資料的時候,能對資料有乙個更加清晰的掌控,詳細來講,主要有下面幾個原因 官方定義 資料倉儲是乙個面向主題的 整合的 隨時間變化的 但資訊本身相對穩定的資料集合,用於對管理決策過程的支援。這個定義的確官方,但是卻指出了資料倉儲的四個特點。特點 面向主題 資...