ODI 資料抽取流程

2021-09-22 12:21:24 字數 685 閱讀 2794

源資料  目標表

大綱:分別建立源資料 和目標表的

物理體系結構——物理方案——邏輯方案——模型——介面

拓撲—>物理體系結構—>oracle(右鍵)—>新建資料伺服器(連線的使用者和口令為表所在的使用者)  儲存

右鍵—新建物理方案—>方案和目標方案(填表所在的使用者)

邏輯體系結構—> oracle(右鍵)—>新建邏輯方案—填好物理方案儲存

設計器—>模型—>新建模型—>填好技術、邏輯方案選項—選擇性逆向工程

專案—>新建專案->介面—>新建介面—>對映、流相關設定,然後執行

檔案odi 建立

1.拓撲—>物理體系結構—>file(右鍵)—>新建資料伺服器(連線的使用者和口令為表所在的使用者)(注意:jdbc

編碼和檔名要對應

jdbc:snps:dbfile?encoding=gb2312)  儲存

2.右鍵—新建物理方案—>方案和目標方案(填表所在的使用者)

3.邏輯體系結構—> file (右鍵)—>新建邏輯方案—填好物理方案儲存

4.設計器—>模型—>新建模型—>填好技術、邏輯方案儲存—>新建資料儲存—

>

檔案格式(帶分隔符),字段分隔符(其他

英文逗號),列

—>

選擇性逆向工程;

5.專案—>新建專案->介面—>新建介面—>對映、流相關設定,然後執行

ODI介面資料 郵件傳送

資料庫中查詢要傳送的資料 利用oracle緩衝區的方式,將資料以特定格式列印到介面資料測試.csv檔案中,儲存成.sql檔案 語句如下 spool d test 介面資料測試.csv set serveroutput on size unl set serveroutput on format tr...

Kettle資料抽取 增量抽取

使用 kettle 實現資料的增量抽取的方法大致如下 從目標表中讀取最大的時間戳或者增量字段 id,作為條件,然後把源表中所有大於這個增量欄位的資料讀出來,插入到目標表當中去 1.開啟 kettle 工具,開啟新建的全量抽取流 2.選擇 input,再拖出來乙個 表輸入 控制項 開啟表輸入 2,配置...

增量資料抽取

a.觸發器 在要抽取的表上建立需要的觸發器,一般要建立插入 修改 刪除三個觸發器,每當源表中的資料發生變化,就被相應的觸發器將變化的資料寫入乙個臨時表,抽取執行緒從臨時表中抽取資料,臨時表中抽取過的資料被標記或刪除。觸發器方式的優點是資料抽取的效能較高,缺點是要求業務表建立觸發器,對業務系統有一定的...