sqoop 將mysql表同步到hive分割槽表中

以下文章是mysql表匯入到hivetextfile儲存格式的分割槽表中

mysql表匯入到hiveorc儲存格式的分割槽表  請點此跳轉

sqoop import \

--connect jdbc:mysql://ip:3306/database \
--username usename--password pwd \
--fields-terminated-by ',' \
--m 1 \
--query "select * from table where column='value' and \$conditions" \
--target-dir /user/hive/warehouse/database.db/table/partition_name=partition_value/ \
--delete-target-dir

大寫的地方需要自行修改

where子句的  and \$conditions   不要修改，必須加

sqoop import \

--connect jdbc:mysql://ip:3306/db\
--username root --password pwd \
--query "select * from tab_task where task_createtime='2020-12-30' and \$conditions" \
--fields-terminated-by ',' \
--delete-target-dir \
--hive-import \
--m 1 \
--hive-partition-key dt \
--hive-partition-value 2020-12-30 \
--hive-database db\
--hive-table tab_task \
--target-dir /user/hive/warehouse/db.db/tab_task/dt=2020-12-30/ \
--delete-target-dir \
--direct

同步分割槽表要指定query

query 最後要加and \$conditions

Sqoop將Mysql資料同步到Hbase

1 首先進入hbase中建立一張表 bin hbase shell create alarm info1 表名 alarm 列簇 info1 2 進入sqoop的bin目錄下執行 sqoop import connect jdbc mysql table alarm hbase table alar...

sqoop匯出hive表資料到mysql

直接在mysql裡從本地檔案系統匯入資料 mysql load data local infile c users asys documents tencent files 13174605 filerecv 2015082818 into table track log fields termin...

sqoop匯入mysql表資料到HIVE

匯入mysql表資料到hive 將關係型資料的表結構複製到hive中 bin sqoop create hive table connect jdbc mysql node 1 3306 userdb table emp add username root password hadoop hive ...