熔 巖 >
db2、sql
>正文
原創leizhimin
2007-07-03 18:59:23
1311人閱讀
ods實現過程
一、ods是什麼
ods是什麼？我根據自己的理解，ods是乙個將面向主題的，動態增長的，非實時的，消除了原始資料庫差異的，對原始庫最大限度進行冗餘處理後得到的資料集，通過ods消除了資料間的關聯細節，實現了對某一領域資料進行統一處理（比如查詢、統計）的快捷方法。
ods的核心是對業務粒度進行劃分，進而設計出合理的ods表。
ods資料的**一般是從原有資料庫中通過一定的方法抽取的，抽取的方法可以是程式實現，也可以通過儲存過程來實現。
ods對資料的抽取是可以是多維度的。從原始資料庫抽取到基本的ods表是一級抽取，從一級ods表向更高維度的ods表抽取資料是二級抽取，以此類推。
進行多少級的抽取是根據業務的需求來確定的。比如要做乙個某一主題的萬能查詢，通過原始庫表之間的關聯幾乎是無法實現的。但是通過對原始庫該主題的表資料進行冗餘處理形成新的ods資料表可以方便實現。但是要是對這些資料庫進行處理以生成月報表、年報表，則需要多級抽取，比如對ods表進行分月統計後，將結果儲存在新的ods表中，在這個新的月報ods表中，再進行年一級別的統計處理，就形成了年報ods表。往往ods表中的列數非常的多，遠遠超出某一業務的需要。
二、ods實現
1、劃分主題（業務域），結合需求，對本業務域中的表進行分析冗餘形成乙個或多個大表--ods表。
2、結合需求，對ods資料抽取的粒度進行分析，這裡面也許會做多級資料抽取。
3、通過具體的實現方法，給ods表中抽取資料，抽取過程一般在停止業務或者伺服器空閒的情況下進行，比如每天晚上抽取當天資料到ods中。
4、對資料進行管理，資料庫中的資料分為當前、歷史、歸檔。
02 ODS層簡介和ODS層設計
本篇主要講述運算元據儲存 ods 系統產生的背景 定義 特點，以及它與資料倉儲的區別。ods中的資料具有以下4個基本特徵 1 實現企業級的oltp操作 傳統的操作型資料庫往往只存放企業某一類業務或者某乙個部門的資料，因此無法面向企業全域性資料的oltp，而ods可以實現。因為ods的資料是面向整個企...
ODS層載入資料指令碼
匯入資料 load data inpath origin data gmall log topic event 2019 12 10 into table gmall.ods event log partition dt 2019 12 10 hive中建表語句 建立輸入資料是lzo輸出是text，...
資料倉儲與ODS的區別，資料倉儲和ODS並存方案
我在公司的資料部門工作，每天的訂單類資料處理流程大致如下 刪除分析資料庫的歷史訂單資料 全量更新訂單資料到分析資料庫。由於訂單核心資料不大，所以經受得起這麼折騰 將資料簡單清洗，並生成資料集市層 分析處理，產出報表。當然還有其他的資料也是這麼處理的 比如產品的資料 景區的資料 票種的資料 商的資料等...