kettle新手上路，煩死了，工具好用，批量匯入資料也快，就是有很多小細節需要注意。
使用kettle進行資料匯入時，因為最近在做json資料的入庫，以json input為例進行說明；
首先是大概流程：
我的是這樣，並不是說就必須是這樣。
（1）導json資料，json input 少不了的，具體怎麼配置通用路徑，第一張圖已經展示出來了；
（2）然後js指令碼，篩選自己需要的字段（這個就不截圖了啊，至於生成cscs_id是因為我需要）；
（3）然後就是配置表輸出，怎麼連線就不截圖了，測試鏈結成功之後，點開編輯，像我這樣配置即可，解決亂碼問題的，自己剛開始弄的時候，網上都說的是，配置乙個utf8就行，但是我的還是亂碼，最後這樣配置，亂碼問題才解決（當然資料庫我用的mysql，其他資料庫是不是這樣，就不清楚了！）。
kettle這一款開源的etl工具很好用，教程網上也搜得到！
用ADO向excel批量匯入數
和前面一篇用oledb的方法類似，我們可以用ado從recordset物件向excel批量插入資料，這個方法無法自動複製欄位名。我們需要引用ado和excel的com物件 參考 c code using system using system.collections.generic using sy...
sqlldr，將資料批量匯入Oracle資料庫
首先介紹一下sqlldr工具，它是由oracle提供，專本用於把文字資料匯入到oracle資料庫。它需要兩個檔案，乙個是文字資料檔案，另外乙個是ctl檔案。ctl檔案主要是配置一些引數，比如文字資料的分割符，首行或其他具體行需不需要跳過，匯入到哪張表，欄位都哪些，這些欄位都是什麼屬性等等。首先我設計...
Hbase（11）bulkLoad批量匯入資料
bulkload的原理是用mr程式讀取檔案資料，生成hfile檔案，直接放到hdfs指定目錄中去。importtsv是hbase自帶的乙個 csv檔案 hfile檔案 的工具，它能將csv檔案轉成hfile檔案，並傳送給regionserver 它的本質，是內建的乙個將csv檔案轉成hfile檔案的...