sqoop2從hdfs中匯入到mysql

2021-08-22 08:15:08 字數 795 閱讀 9249

資料準備:hive資料庫檔案     例路徑為:/user/hadoop/hive/test

在mysql建立與hive中資料庫結構一樣的資料庫。

啟動sqoop2服務  $ sqoop2-server start

登入客戶端  $ sqoop2-shell

建立資料庫物件:

建立hdfs的link物件:

建立乙個job作業:

啟動這個job作業:start job -j 1 -s

以此啟動完成。

這裡有幾個小細節要注意的:

1.hive中資料庫的製表符要指定為',',不然mysql識別不了他的資料。

2.mysql中資料庫要與hive中的字段順序、名稱、型別要一直,不然也會執行job失敗。

3.mysql中的資料庫不可有主鍵,不然也會導致失敗,如果你可以保證你設定的那個列的值唯一的話也可以有。

4.如果想要刪除已有的job或者link的話指令為delete job -j job的id號,delete link -l link的id號。例:delete link -l link 1

5.要修改的話就把delete換成update就可。

sqoop從hdfs 中匯出資料到mysql

bin sqoop export connect jdbc mysql mini1 3306 study?useunicode true characterencoding utf 8 username root password root table top n city m 1 export d...

sqoop從mysql匯入到hive常見問題

mysql中的資料,表中列出了資料匯入過程中的 髒 資料 t,n,r,null,下面列出了解決思路 id 2 這裡的des 裡面有1個換行符實際為 1234 567id 3 desc有乙個 t 實際為1234 567 id 4 desc is null 如果直接通過一般的sqoop匯入語句 匯入後的...

Sqoop匯入資料到HDFS上

flume收集日誌 主動的和被動的 看文件sqoop底層是mr,要執行sqoop要有yarn環境,做大資料平台和關係型資料庫匯入匯出工具,必須要有連線資料庫的驅動 root node1 service mysql start root node1 service mysql status root ...