KETTLE實現複雜的流程

2022-06-22 23:36:14 字數 335 閱讀 3575

kettle是一款將資料從**端經過抽取(extract)、轉換(transform)、載入(load)至目的端的非常好用的一款etl工具。學會它,對於跨資料庫的表處理或者定時生成文字,excel等常見需求會處理的很容易。

上圖就是乙個很複雜的邏輯運算,包括了生成excel、多表關聯、呼叫儲存過程、js處理等均有涉及。

不僅如此,還可以針對多表做簡單的配置,實現成百上千個表的資料抽取處理工作。

接下來, 筆者就從簡單到複雜,從單錶操作到實際應用中的複雜情況逐一介紹。

Kettle開發流程

回到啟動介面 注意 建立資源庫時不要使用中文 因為在配置資源庫時使用中文,可能導致repositories.xml出現亂碼。然後導致你為了解決connect按鈕不見的問題不斷的刪除檔案重啟kettle。同時,也是會發現,我們的資料庫裡面有很多資料庫已經建立好了 2.簡單demo 在目標庫中新建一張表...

kettle外掛程式載入流程

kettle遵循著外掛程式機制,基於外掛程式使得kettle整個結構非常清晰,耦合性低,移植性強,特別是對kettle進行二次開發尤其方便,根據了解,擴充套件step型別的外掛程式比較多,具體步驟可以參考 通過了解外掛程式的載入流程,不僅kettle的原理有深一層的認識,還有助於在進行二次開發遇到問...

Kettle排程實現

9本文介紹使用shell呼叫kettle job實現資料排程功能。1 通過crontab定時排程shell 2 使用shell呼叫kettle job 3 排程異常傳送郵件預警 基本步驟為 1 建立extract資料夾,用於存放指令碼 job配置檔案 2 建立extract log資料夾,用於存放排...