全量匯出
hql示例:insert overwrite directory 『/user/root/export/test』 row format delimited fields terminated by 『,』 stored as textfile select f1,f2,f3 from ;
sqoop指令碼:sqoop export --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table --fields-terminated-by 『,』 --columns f1,f2,f3 --export-dir /user/root/export/test
增量匯出(insert模式)
hql示例:insert overwrite directory 『/user/root/export/test』 row format delimited fields terminated by 『,』 stored as textfile select f1,f2,f3 from where ;
sqoop指令碼:sqoop export --connect jdbc:mysql: --username datamanager --password 4dul%*ialc --table t_stock_equipment1 --fields-terminated-by 『\001』 --update-key hp_stat_date --update-mode allowinsert --export-dir /user/hive/warehouse/cdm.db/t_stock_equipment1
更新匯出(update模式)
hql示例:insert overwrite directory 『/user/root/export/test』 row format delimited fields terminated by 『,』 stored as textfile select f1,f2,f3 from where ;
sqoop指令碼:sqoop export --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table --fields-terminated-by 『,』 --columns f1,f2,f3 --update-key f4 --update-mode updateonly --export-dir /user/root/export/test
注意事項:
增量匯出到mysql時候,hive要根據不同的儲存格式來進行設定,mysql表必須設定主鍵,否則增量會無效
hive
text格式:
sqoop export --connect jdbc:mysql: --username tgg --password 4dul%*ialc --table t_stock --fields-terminated-by 『\001』 --export-dir /user/hive/warehouse/cdm.db/t_stock --update-key hp_stat_date --update-mode allowinsert
Sqoop 資料匯出 全量 增量 更新
sqoop支援直接從hive表到rdbms表的匯出操作,也支援hdfs到rdbms表的操作,當前需求是從hive中匯出資料到rdbms,有如下兩種方案 從hive表到rdbms表的直接匯出 該種方式效率較高,但是此時相當於直接在hive表與rdbms表的資料之間做全量 增量和更新對比,當hive表記...
Sqoop 資料匯出 全量 增量 更新
sqoop支援直接從hive表到rdbms表的匯出操作,也支援hdfs到rdbms表的操作,當前需求是從hive中匯出資料到rdbms,有如下兩種方案 從hive表到rdbms表的直接匯出 該種方式效率較高,但是此時相當於直接在hive表與rdbms表的資料之間做全量 增量和更新對比,當hive表記...
sqoop定時增量匯入匯出
舉報sqoop使用hsql來儲存job資訊,開啟metastor service將job資訊共享,所有node上的sqoop都可以執行同乙個job 一 sqoop的配置檔案在sqoop.site.xml中 1 sqoop.metastore.server.location 本地儲存路徑,預設在tmp...