匯入mysql表資料到hive
將關係型資料的表結構複製到hive中
bin/sqoop create-hive-table
–connect jdbc:mysql://node-1:3306/userdb
–table emp_add
–username root
–password hadoop
–hive-table test.emp_add_sp
其中 --table emp_add為mysql中的資料庫sqoopdb中的表
–hive-table emp_add_sp 為hive中新建的表名稱
從關聯式資料庫匯入檔案到hive中
bin/sqoop import
–connect jdbc:mysql://node-1:3306/userdb
–username root
–password hadoop
–table emp_add
–hive-table test.emp_add_sp
–hive-import
–m 1
匯入表資料子集
bin/sqoop import
–connect jdbc:mysql://node-21:3306/sqoopdb
–username root
–password hadoop
–where 「city =『sec-bad』」
–target-dir /wherequery
–table emp_add --m 1
bin/sqoop import
–connect jdbc:mysql://node-1:3306/userdb
–username root
–password hadoop
–target-dir /wherequery12
–query 『select id,name,deg from emp where id>1203 and $conditions』
–split-by id
–fields-terminated-by 『\t』
–m 1
增量匯入
sqoop 增量mysql匯入hive資料
1.實現過程包括兩步。第一步將mysql的資料通過條件語句增量匯入匯入到hive的乙個臨時表中。第二步將臨時表中的資料通過動態分割槽的方式匯入到最終的結果表。增量匯入hive臨時表 可以不使用分割槽表,需要設定了資源佇列 sqoop import d mapred.job.queue.name ro...
Sqoop（二） Sqoop匯入 匯出資料
1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用import關鍵字。sqoop import connect jdbc mysql top...
SQOOP從MySQL匯入資料到Hive
一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...