一、產品簡介
ods資料抽取平台是資料倉儲對資料進行精細加工的中間環節，將加工後的資料儲存到ods資料模型中，以便總賬，報表，資料倉儲使用。
將遠端網路生產資料庫中的資料備份到一台備份機中(防止對生產資料的誤操作)，然後在視覺化的第三方etl工具中編輯etl指令碼，對備份庫中的資料進行精細的加工，etl指令碼可以對網路中的任意一台資料庫中任意的一張或多張表進行複雜的計算，然後將計算結果儲存到ods的資料模型中，以便其他系統使用，這樣就分擔了其他系統對資料庫中的資料進行複雜運算，複雜的運算完全交由處於資料處理中心的ods平台。
如下圖是ods平台系統結構圖：
二、平台功能及優勢
通過視覺化的操作介面進行指令碼的編寫，實現複雜的sql
指令碼job功能，能夠實現叫叫指令碼的工作流控制，通過job控制各個指令碼的執行順序，以實現業務流程。
指令碼可以實現對遠端任意計算機的操作，可以拿任務資料庫中的字段拼裝成目標表，以及資料的建立。
長時間執行指令碼手工跳過功能，對長時間執行的指令碼進行跳過，可以使後面的指令碼不需要等待這個指令碼執行完，跳過之後，跳過的指令碼還在執行，並且最終會將執行的結果顯示在「任務狀態查詢」目錄中。
實時指令碼監測可以對正在執行的指令碼進行實時監測的功能，監測具體到指令碼中的每乙個步驟。
通過和外系統整合，可以實現定時排程ods平台的功能，這樣就不需要人工去觸發ods了，在夜間也可以進行資料抽取的功能。
平台功能：
a、抽數呼叫配置
在抽數呼叫配置中使用者可看到資料庫中所有指令碼組和指令碼的詳細資訊。使用者還可對這些指令碼和指令碼組進行修改、刪除、上傳等操作。並且通過執行引數的配置對所需的指令碼進行執行操作。
b、實時指令碼監測
在抽數任務啟動後，使用者需要實時監控資料抽取指令碼的執行狀態。通過指令碼狀態實時監控頁面可以查詢當前正在執行指令碼的各項執行狀態。指令碼實時監控頁面還可以顯示每個指令碼下所有步驟的執行狀態。
c、任務狀態查詢
每次資料抽取任務從觸發開始到結束，資料抽取平台會根據執行的任務編號，記錄抽數任務的執行狀態的詳細資訊，通過任務狀態查詢平台，可以查詢每次任務執行的歷史記錄和每次抽數任務指令碼的詳細資訊，以便使用者了解所有歷史抽數任務的執行狀態。
d、除錯級別配置
除錯級別配置供操作人員設定日誌顯示級別使用，使用者可根據不同的需求配置日誌的級別，以便日誌查詢、檢視，日誌級別不可手工輸入。
e、抽數日誌檢視
f、抽數檔案管理
g、指令碼執行清單
使用者在抽數呼叫配置中對資料來源和時間進行配置後、抽數任務啟動前，可在指令碼執行清單頁面檢視符合執行引數配置的所有指令碼的詳細資訊。
Kettle資料抽取 增量抽取
使用 kettle 實現資料的增量抽取的方法大致如下 從目標表中讀取最大的時間戳或者增量字段 id,作為條件，然後把源表中所有大於這個增量欄位的資料讀出來，插入到目標表當中去 1.開啟 kettle 工具，開啟新建的全量抽取流 2.選擇 input,再拖出來乙個 表輸入 控制項 開啟表輸入 2，配置...
增量資料抽取
a.觸發器 在要抽取的表上建立需要的觸發器，一般要建立插入 修改 刪除三個觸發器，每當源表中的資料發生變化，就被相應的觸發器將變化的資料寫入乙個臨時表，抽取執行緒從臨時表中抽取資料，臨時表中抽取過的資料被標記或刪除。觸發器方式的優點是資料抽取的效能較高，缺點是要求業務表建立觸發器，對業務系統有一定的...
ETL資料抽取策略
etl 的抽取策略 本文所提到的資料載入策略為oltp系統作為源系統，並進行etl資料載入到olap系統中所採用的一般資料載入策略。依循資料倉儲的工作方式，原始資料由源資料庫被抽取出來後，將在中間過程被寫入到 operational data store ods ods是被設計用來儲存中間資料和核查...