資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。 為需要業務智慧型的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。
資料倉儲,並不是資料的最終目的地,而是為資料最終的目的地做好準備。這些準備包括對資料的:清洗,轉義,分類,重組,合併,拆分,統計等等。
ods層:
資料**及建模方式:各業務系統的源資料,物理模型與業務模型一致;
服務領域: 為其它邏輯層提供資料;
資料etl過程描述:把業務資料抽取落地成文字檔案,再裝載到資料倉儲ods層,不做清洗轉化。
功能:1)ods是數倉準備區
2)為dwd提供原始資料
3)減少對業務系統影
dwd層:
資料**及建模方式:資料來自於ods層,是dw明細事實層,資料模型與ods層一致;
服務領域:為edw提供各主題業務明細資料;
資料etl過程描述:根據ods增量資料和前一天dwd相關表進行merge生成全量資料,不做清洗轉化,保留原始全量資料。
功能:1)為dw層提供**明細資料
2)為未來分析類需求的擴充套件提供歷史資料支援。dw層:
資料**及建模方式:資料來自dwd層,是dw事實層,採用維度建模,星型架構,這一層可細分為dwb與dws;
服務領域:為eds提供各主題業務明細;
資料etl過程描述:從dwd層進行輕度清洗,轉化,彙總生成dw層資料,如字元合併,email,證件號,日期,手機號轉換合併;按各個維度進行聚合彙總。dm層:
資料**及建模方式:資料來自dw層,採用維度建模,星型架構;
服務領域:資料探勘,自定義查詢,應用集市;
資料etl過程描述:從dw層進行粗粒度聚合彙總,按業務需求對事實進行拉寬形成寬表。st層:
資料**及建模方式:資料來自dw層,採用維度建模,星型架構;
服務領域:前端報表展示,主題分析,kpi報表;
資料etl過程描述:從dw層進行粗粒度聚合彙總,如按年、月、季、天對一些維度進行聚合生成業務需求的事實資料。
大資料培訓
數倉建模綜述
隨著大型關聯式資料庫商業軟體的興起,現代企業資訊系統幾乎都在使用關聯式資料庫來儲存 加工和處理資料。資料倉儲系統也不例外,大量的資料倉儲系統依託強大的關聯式資料庫能力儲存和處理資料,其採用的資料模型方法也是基於關聯式資料庫理論的。儘管 nosql也有 一定的發展,但是企業仍在大規模使用sql進行資料...
數倉過程建模 數倉入門基礎 1 漫談數倉
資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個資料儲存,出於分析性報告和決策支援目的而建立。為需要業務智慧型的企業,提供指導業務流程改進 監視時間 成本 質量以及控制。資料倉儲的特徵在於面向主...
數倉建模的好處
看阿里大資料之路一書,說到為什麼要資料建模?記錄如下 1 效能 良好的資料模型能幫助我們快速查詢所需要的資料,減少資料的i o吞吐 2 成本 良好的資料模型能極大地減少不必要的資料冗餘,也能實現計算結果符用,極大地降低大資料系統中的儲存和計算成本 3 效率 良好的資料模型能極大地改善使用者使用資料的...