kettle 資料來源配置化 開發 生產採用不同配置

2022-08-02 11:21:11 字數 1560 閱讀 2226

資料etl常用工具kettle。

1、說明:

kettle-資料來源配置化:是指kettle的資料來源連線資訊全部或者部分從配置檔案中讀取(如果是資料庫的資源庫,那麼資源庫也可以配置化)。

2、優點:

1、這樣程式本身就和kettle的業務解綁了,開發、生產採用不同配置;每次開發完成就可以直接匯入線上,再也不用手動去修改連線資訊(少改少錯,不改就不錯)。

2、可以對開發人員保密線上的連線資訊,保證資料安全。

在開發和部署的時候不用再關心線上、開發、測試環境的資料來源不一樣,每次上線需要手動修改的麻煩。 

3、資源庫的方式有2種:

(1)、檔案方式。方便遷移、分布式環境下需要自己解決檔案同步。

(2)、資料庫方式。會有資料庫鎖的問題。不用維護檔案同步問題。集群部署支援好。

(3)、讀取配置檔案的方式,對上面2中資源庫型別都是支援的,沒有影響。

資料庫方式的資源庫中的資料來源連線資訊,也可以從配置檔案讀取(共享的資料來源、非共享的資料來源都可以)。

4、kettle配置檔案的位置:

windows 預設在:c:\users\使用者\.kettle

linux 預設在:/root/.kettle/

5、配置檔案:

下圖是kettle的三個核心配置檔案。依次是配置資訊檔案、資源庫配置檔案、共享資料來源配置檔案

6、我們在kettle介面上看看具體的配置是怎麼樣的

(1)、資源庫的連線資訊:從配置檔案中讀取

(2)、資料來源的連線資訊:從配置檔案中讀取

(3)、hadoop的連線資訊:從配置檔案中讀取

7、下面分別看一下三個檔案的內容

(1)、配置資訊檔案

這裡特別說明:配置好之後,線上、線下只有這個配置檔案的內容不一樣。其他配置都是一樣的。這樣在開發好之後可以直接匯入線上。連資料來源、資源庫的連線名都不用改。

(2)、資源庫配置檔案

(3)、共享資料來源配置檔案

如果沒有配置共享資料來源,則這個檔案是空的,如果有,跟上圖的連線資訊類似。

資料來源配置

1 建立資料庫student。2 新建表puser。3 設定資料來源,選擇windows選單 控制面板 管理工具 資料來源 odbc 彈出 odbc資料來源管理器 在彈出 odbc資料來源管理器 對話方塊中,選擇 系統dns 選項卡,單擊 新增 按鈕。在彈出的 建立新資料來源 對話方塊中,選擇 mi...

配置資料來源

jdbc.properties檔案 dzswb2b.druid.alias dbccfw dzswb2b.druid.driver url jdbc oracle thin 10.1.94.252 1521 dzsw dzswb2b.druid.username ccfw dzswb2b.druid...

struts config配置資料來源

struts config.xml中datasource配置說明 在config裡面申明datasource以後,你就可以在action中得到你需要的鏈結了。datasource datasource datasource servlet.getservletcontext getattribute...