ps:有段時間不使用kettle了，但總遇到小夥伴問起，寫一篇記錄下。
文件使用版本：kettle 7.0
kettle資源庫可分為檔案與資料庫，檔案型只需要配置好存放路徑就行，這邊介紹的是配置資料庫方式儲存的資源庫。
檔案即所有的流程、任務都以檔案格式存放在磁碟上，而資料庫方式則存在資料庫中。
相比與老版本kettle來說，kettle在5.0 還是 6.0（這個記不清了~） 做了乙個大版本的修改（畫風大變）。
資源庫的配置也從原來的「探索資源庫」改到了如下圖所示：
配置鏈結位址（oracle資料庫最好單獨使用乙個使用者存放，mysql使用乙個新庫存放），oracle驅動包需先放置到kettle解壓目錄的lib資料夾下
配置完成後點選 finish，當前版本的kettle 會自動新建一批資源庫表；配置完成；
新版的kettle 配置資源庫更簡單了 都不需要執行它提供的sql 了。
大資料量演算法
給40億個不重複的unsigned int的整數，沒排過序的，然後再給乙個數，如何快速判斷這個數是否在那40億個數當中 位圖思想解法 include stdio.h include stdlib.h include memory.h define max num 4294967295 int mai...
大資料量處理
看看這個，異曲同工，永遠不超時 該程式是針對非常龐大的資料庫開發的，沒有用迴圈 用途 對過萬條資料的資料庫字段內容批量替換 資料庫連線 dim beeyee dbname,connstr,conn,intsn1 dim content,num,intsn,intidno,strcodea,strco...
航測大資料量處理 大資料量處理及優化措施
1 首先考慮垂直拆分庫，不同的表拆分到不同的庫中，例如使用者庫 產品庫 支付庫 2 然後考慮水平拆分庫，將乙個表的資料放到多張表中，例如按照使用者 時間 訂單號 3 插入資料的時候不建立索引 4 待資料已經插入完成後，建立索引 5 正確的指定索引字段 6 使用批量插入資料庫的方式代替單條資料的插入 ...