Kettle 動態資料鏈結,使JOB得以復用

2022-08-20 23:15:14 字數 893 閱讀 2581

動態資料連線,使job得以復用 

背景

移動執法系統在目前的主要的部署策略為1+n的方式,即總隊部署一套,地市各部署一套,且基本都在環保專網。各地市的業務資料需要推送到總隊系統,以便總隊系統做整體的監督、決策。在整個資料對接過程中,基於kettle開發的各地市對接省廳的etl程式,除了資料鏈結資訊不同之外,其他資訊基本相同。重複開發的成本過高。是否可以通過切換資料庫鏈結資訊以復用相同的資料對接程式?

設計思路

獲取資料鏈結資訊進行儲存到結果,然後迴圈呼叫資料鏈結資訊,動態配置給資料抽取的程式,以達到job的復用。

kettle實現

tr_load_db:獲取資料鏈結資訊,並將資料鏈結資訊儲存的記錄(記憶體中);

job_load_zfsj_item:可復用的資料對接程式

tr_set_db_pro:將傳遞過來的資料鏈結資訊儲存到變數中。

tr_load_[資料型別]:載入指定的業務資料

tr_excute_sql:各地市資料載入成功之後的後操作(非必須)

tr-load-db:

job-load-zfsj-item:

為了可以逐條呼叫資料鏈結資訊,需要配置成「執行每乙個輸入行」

tr-set-db-pro:

tr-load-[資料型別]:

源資料鏈結使用動態資料鏈結

這樣配置完成之後,針對1+n方式部署的系統,需要做資料對接整合的,就只需要開發一次資料對接程式,然後配置相應的資料鏈結資訊,就可以完成對n個系統的資料對接工作,比起以前複製多份的方式,方便了很多,而且也便於以後進行維護。

weka 學習資料鏈結

1 primer weka wiki 鏈結 2 data mining practical machine learning tools and techniques chapter 15 471 485 3 在weka中加入自己的演算法 鏈結 4 data mining practical mac...

Oracle 建立資料鏈結

1 為了建立資料庫鏈結,需要有pcreate database link系統許可權,要與遠端的帳號進行鏈結還需要有create session普通許可權 2 保證鏈結的使用者具有訪問被鏈結資料庫的表或者檢視的許可權。3 在要建立鏈結的資料庫 tnsnames.ora 檔案新增對被鏈結資料庫的連線字元...

Swift資料鏈結蒐集

objective c和swift混合程式設計開發 一 swift與objective c api互動 一 swift與objective c api互動 二 swift與objective c api互動 三 swift簡明教程 一 變數與常量 swift簡明教程 二 流程控制 swift簡明教程...