Sqoop 匯入資料到hive過程解析

1.

mysql資料庫(sqoop)emp表匯入到hive中資料庫(ruozedata_teset)的emp_sqoop_test表

sqoop import \

--connect jdbc:mysql: \
--username root \
--password 123456 \
-m 1 \
--table emp \
--hive-database 'ruozedata_test' \
--hive-import \
--hive-overwrite \
--direct \
--hive-table 'emp_sqopp_test' \
--fields-terminated-by '\t' \
--input-null-non-string '0' \
--input-null-string ''

1. :drwxr-xr-x   - hadoop supergroup          0 2018-10-31 06:47 /user/hadoop/emp

-rwxr-xr-x 1 hadoop supergroup 887 2018-10-31 06:52 /user/hive/warehouse/ruozedata_test.db/emp_sqopp_test/最後load成功之後會刪除臨時目錄

/user/hadoop/emp

所以 sqoop匯入資料到hive的過程:

mysql表匯入到hdfs的當前使用者目錄下(相當於臨時檔案)

再從上面的臨時檔案複製到最終指定的hdfs目錄下

最後刪除臨時目錄

注意:

如果中途中斷提交的任務,而此時已經存在臨時目錄

再執行匯入的時候,會報錯:

hdfs: already exists只好刪除臨時目錄在執行匯入**

SQOOP從MySQL匯入資料到Hive

一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...

sqoop匯入mysql表資料到HIVE

匯入mysql表資料到hive 將關係型資料的表結構複製到hive中 bin sqoop create hive table connect jdbc mysql node 1 3306 userdb table emp add username root password hadoop hive ...

sqoop 增量mysql匯入hive資料

1.實現過程包括兩步。第一步將mysql的資料通過條件語句增量匯入匯入到hive的乙個臨時表中。第二步將臨時表中的資料通過動態分割槽的方式匯入到最終的結果表。增量匯入hive臨時表 可以不使用分割槽表,需要設定了資源佇列 sqoop import d mapred.job.queue.name ro...