資料準備:hive資料庫檔案 例路徑為:/user/hadoop/hive/test
在mysql建立與hive中資料庫結構一樣的資料庫。
啟動sqoop2服務 $ sqoop2-server start
登入客戶端 $ sqoop2-shell
建立資料庫物件:
建立hdfs的link物件:
建立乙個job作業:
啟動這個job作業:start job -j 1 -s
以此啟動完成。
這裡有幾個小細節要注意的:
1.hive中資料庫的製表符要指定為',',不然mysql識別不了他的資料。
2.mysql中資料庫要與hive中的字段順序、名稱、型別要一直,不然也會執行job失敗。
3.mysql中的資料庫不可有主鍵,不然也會導致失敗,如果你可以保證你設定的那個列的值唯一的話也可以有。
4.如果想要刪除已有的job或者link的話指令為delete job -j job的id號,delete link -l link的id號。例:delete link -l link 1
5.要修改的話就把delete換成update就可。
sqoop從hdfs 中匯出資料到mysql
bin sqoop export connect jdbc mysql mini1 3306 study?useunicode true characterencoding utf 8 username root password root table top n city m 1 export d...
sqoop從mysql匯入到hive常見問題
mysql中的資料,表中列出了資料匯入過程中的 髒 資料 t,n,r,null,下面列出了解決思路 id 2 這裡的des 裡面有1個換行符實際為 1234 567id 3 desc有乙個 t 實際為1234 567 id 4 desc is null 如果直接通過一般的sqoop匯入語句 匯入後的...
Sqoop匯入資料到HDFS上
flume收集日誌 主動的和被動的 看文件sqoop底層是mr,要執行sqoop要有yarn環境,做大資料平台和關係型資料庫匯入匯出工具,必須要有連線資料庫的驅動 root node1 service mysql start root node1 service mysql status root ...