維度建模是以分析決策的需求出發構建模型 ,為分析需求服務,解決了使用者如何快速完成分析需求
分析型資料庫 ,資料集市 ,資料倉儲的建模方法
面向分析,以查詢為主,不涉及資料更新操作
事實表設計的概念 :能夠正確的記錄歷史資訊為準則
維度表 設計:合適的角度聚合主題的內容為準則
維度建模的方式有哪些
星形模式的維度建模由乙個事實表和一組維表成
雪花模式的維度表可以擁有其他維度表
星座模式是基於多張事實表的,而且共享維度資訊
主要分為三層
資料倉儲層
又可以分為三層
每層的作用
資料運營層(ods)
operate data store(運算元據-儲存),是最接近資料來源中資料的一層。
資料倉儲層(dw)
data warehouse(資料倉儲),從ods層中獲得的資料按照主題建立各種資料模型,相同主題的資料進行集中。
dw資料分層,由下到上為 dwd,dwb,dws
dwd:data warehouse detail 細節資料層,是業務層與資料倉儲的隔離層。
dwb:data warehouse base 基礎資料層,儲存的是客觀資料,一般用作中間層,可以認為是大量指標的資料層。
dws:data warehouse service 服務資料層,基於dwb上的基礎資料,整合彙總成分析某乙個主題域的服務資料,一般是寬表。
分層的原因:
清晰資料結構:
每乙個資料分層都有它的作用域,這樣我們在使用表的時候能更方便地定位和理解。
方便資料血緣追蹤:
簡單來說,我們最終給業務呈現的是乙個能直接使用業務表,但是它的**有很多,如果有一張**表出問題了,我們希望能夠快速準確地定位到問題,並清楚它的危害範圍。
減少重複開發:
規範資料分層,開發一些通用的中間層資料,能夠減少極大的重複計算。
把複雜問題簡單化:
將乙個複雜的任務分解成多個步驟來完成,每一層只處理單一的步驟,比較簡單和容易理解。而且便於維護資料的準確性,當資料出現問題之後,可以不用修復所有的資料,只需要從有問題的步驟開始修復。
遮蔽原始資料的異常:
遮蔽業務的影響,不必改一次業務就需要重新接入資料
資料倉儲理論
資料倉儲的概念原先為 商業資料倉儲 本質上,資料倉儲是一種從操作性系統到決策支援環境的資料流架構模型,而數倉概念也是為了解決和這個資料流相關的各種問題,主要是解決多重資料複製帶來的高成本問題。在沒有資料倉儲的時代,需要大量的冗餘資料來支撐多個決策支援環境。inmon將資料倉儲描述為乙個面向主題的 整...
資料倉儲分層理論
cif 層次架構 資訊工廠 通過分層將不同的建模方案引入到不同的層次中,cif 將資料倉儲分為四層,如下圖所示 ods operational data store 運算元據儲存層,往往是業務資料庫 的一對一對映,將業務資料庫中的 在 ods重新建立,資料完全一致。dwd data warehous...
基於大資料的資料倉儲 資料倉儲建模基本理論
一 數倉建模的目標 訪問效能 能夠快速查詢所需的資料,減少資料i o。資料成本 減少不必要的資料冗餘,實現計算結果資料復用,降低大資料系統中的儲存成本和計算成本。使用效率 改善使用者應用體驗,提高使用資料的效率。資料質量 改善資料統計口徑的不一致性,減少資料計算錯誤的可能性,提供高質量的 一致的資料...