# 初始階段
1、需求分析
目標:收集業務需求與資料實現
實現過程:了解關鍵指標、競爭性商業問題、決策指定過程、支援分析需求
物件:通過與業務代表了解業務需求,以及與源系統專家交流
2、維度建模的四步法
(1)選擇業務流程
(2)宣告粒度
(3)確定維度表
(4)確定事實表
3、選擇模型(星型模式與olap多維資料庫)
模型作用:維度表到事實表之間的聯絡
olap:包含事實表和維度表
## 事實表技術基礎
1、事實表的結構:與物理活動關係密切,受資料展現的影響不大
查詢請求的主要目標是基於事實表開展計算和聚合操作
2、可加、半可加、不可加事實
3、事實表中的空值:允許事實表中存在空值,可以使用相關的聚集函式可以
4、一致性事實
5、事務事實表
6、週期快照事實表
粒度是週期的,而不是個體事務
7、累計快照事實表
彙總了發生在過程開始和結束之間可**步驟內的度量
8、無事實的事實表
9、聚集和合併事實表
## 維度表技術基礎
1、維度表結構
特徵:維度表表包含單一的主鍵列
2、雪花維度
維度表中的層次規範有多層,建立的多級層次結構被稱為雪花模式;.
# 中級階段
容易發生的錯誤
1、過於迷戀技術,沒有將重點放在業務需求和目標上
2、沒有合適的專案發起人
3、專案規劃不清楚
4、分配大量的精力去構建規範化資料結構,在基於維度模型建立可行的展現區前,用盡所有的預算
5、將主要精力投入到後端操作效能和易開發性,沒有重點考慮前端的查詢的效能和易用性
6、使存在於展現區的可查詢資料極端複雜
7、將維度模型放在單一基礎之上,沒有考慮過共享一致性
8、只將彙總的資料載入到展示區的維度結構中
9、意象業務,業務需求分析,其涉及的資料及技術都是靜態的
10、忽略dw的成功直接**於業務的認可
## 維度建模過程流程圖
準備---高階維度模型---詳細維度模型開發---模型評審與驗證---最終設計文件
1、業務需求評審
開始建模之前,必須熟悉業務需求
2、利用建模工具
3、利用資料分析工具
4、利用或建立命名規則
5、日曆和設施協調
## scd
1、scd(slowly changing dimension ):緩慢變化維度
其它:
資料倉儲常見的三種模型:
1、關係模型
2、多維模型
3、data vault模型
注:關係模型的三要素
1>資料結構
2>完整性約束
3>sql語言
規範化是通過正規化規則實現的。
第一正規化:保持資料的原子性
第二正規化:消除了部分依賴
第三正規化:消除了傳遞依賴
維度模型的核心概念是:事實、維度、粒度
星型模式和雪花型模式是維度模型的兩種邏輯表示。
對星型模式進一步規範化,就形成了雪花模式。
三個組成部分。
中心表記錄業務主鍵,連線表記錄業務關係,附屬表記錄業務描述
data vault不區分業務層面資料的正確與錯誤,它保留操作型系統的所有時間的
所有資料,裝載資料時不做資料驗證、清洗等工作。
資料集市是部門級的、面向主題域的資料倉儲
資料集市的複雜度和需要處理的資料都小於資料倉儲,因此更容易建立與維護。
實施乙個資料倉儲專案的主要步驟:
1、定義範圍
2、確認需求
3、邏輯設計
4、物理設計
5、裝載資料
6、訪問資料
7、管理資料
資料倉儲效能測試階段總結
效能驗證 驗證某系統在一定條件具有什麼樣的能力。效能規劃 如何使系統達到我們要求的效能能力。應用程式診斷 比如資源分配不合理,記憶體溢位和記憶體洩漏等問題,通過功能測試很難發現,但通過效能測試卻很容易發現。效能調優 滿足使用者需求,進一步進行系統分析找出瓶頸,優化瓶頸,提高系統整體效能。在進行效能測...
資料倉儲 資料倉儲部署
1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...
資料倉儲及OLAP分析
資料倉儲是儲存資料的一種組織形式,它從傳統資料庫中獲得原始資料,先按輔助決策的主題要求形成當前基本資料層,再按綜合決策的要求形成綜合資料層 又可分為輕度綜合層和高度綜合層 隨著時間的推移,由時間控制機制將當前基本資料層轉為歷史資料層。可見資料倉儲中邏輯結構資料由3層到 4層資料組成,它們均由元資料 ...