KETTLE教程 初探

2021-09-18 04:26:49 字數 748 閱讀 2543

etl(extract-transform-load)工具,即資料抽取、轉換、裝載。國內稱為水壺

來自borderfree的副總裁warren chang對pentaho-kettle的評價:在業務中傳遞資料是一門藝術,而pentaho將藝術轉變成巨大的商業價值

通過資料獲取元件,快速獲取、分析和裝載大量資料,產出分析圖表、直觀分析結果或分析報告

強大的元件組合能力,將乙個個轉換組合起來,完成功能,包括通知和警報

完整的企業級排程系統,支援協調工作流程,擁有用於測試、優化作業執行的偵錯程式

豐富的資料分析、資料質量控制項,去除不符合業務規則、冗餘的資料、驗證資料的標準性(如電子郵箱)

強大的管理功能

有兩個技術名詞,transformation(轉換)和job(作業)

轉換可以包含多個轉換、多個元件

作業可以包含多個轉換、多個作業、多個元件

版本新增特性

kettle-8.2

kettle-8.1

kettle-8.0

kettle-7.1

kettle-7.0

kettle-6.1

kettle-6.0

kettle-5.4

kettle-5.3

kettle-5.2

kettle-5.1

kettle教程 增量更新

以下操作都在5.0.1版本下進行開發,其餘版本可以進行自動比對 在平時工作當中,會遇到這種情況,而且很常見。比如 增量抽取 每隔2個小時抽取截至到上次抽取時間的記錄 一 操作前提 存在3張表,源表 t student 同步日誌表 t tbrz 插入表 t target student 表結構如下圖所...

關於kettle行轉列實用教程

一.行轉列 1.資料庫指令碼 create table studentinfo studentno int,subject varchar 10 grade int insert into studentinfo values 201105545,語文 80 insert into studenti...

django 實戰教程一 初探

django 算得上是 python 圈內最流行的 web 開發框架,擁有很多特性,入門十分簡單。本教程最終實現乙個功能完善的部落格,在這個過程中全面學習 django 的使用。建議使用第三方擴充套件virtualvenv python3內建了venv 可以方便的控制 python 環境 pip i...