34個ETL子系統 13 事實表載入

2021-08-14 20:55:59 字數 320 閱讀 2313

在這裡將事實表的載入單獨拿出來,主要是要強調如下三種不同型別的事實表。

1、事務型事實表:以單個事務或者事件為單位,作為事實表的1行資料。

2、週期快照事實表:事實表裡並不儲存全量的資料,只儲存固定事件間隔的資料,如每個月的資金餘額。

3、累積週期快照事實表:當新的事實到達後,更新事實表的裡記錄。例如訂單處理過程,有多個日期:下單日期、發貨日期、簽收日期、退款日期等。在這個訂單的處理過程中,隨著訂單的狀態改變,事實表的相應日期也在改變。

在載入事實表時,為了提公升載入速度,大部分資料庫都是採用批量載入的方式,甚至要先刪除事實表上的索引,等載入完畢後,再重新建立索引。

34個ETL子系統 9 緩慢變更維度處理

緩慢變更維度 slowly change dimensions 是基於維度建模的多維資料倉儲的基礎。當維度表的資訊發生變化時,如何更新就成為乙個問題。根據kimball的經典著作,主要有3種方法來處理。type 1 覆蓋 直接用新值代替舊值。type 2 增加新行。將當前行的狀態設定為off,並設定...

34個ETL系統總結 P0

etl系統的四大塊 抽取 清洗 提交 管理 一 抽取 資料探查系統 變化資料捕獲系統 抽取系統 二 清洗 資料清洗和質量處理系統 錯誤事件處理 裝配審計維度 排除重覆記錄系統 資料一致性 三 資料發布 緩慢變更維度處理 鍵生成系統 層次維度構建 特殊維度生成系統 事實表載入 鍵管道 多值維度橋接表生...

ETL架構中的38個子系統(三)

the 38 subsystems of etl by ralph kimball,2004年4月 6.審計維度生成系統 audit dimension assembler system 主要功能是將與事實表相關的元資料內容載入到一張審計維度表中,這樣終端使用者可以像檢視普通維度一樣檢視與事實表相關...