1、 第一次全量抽取，並建立hive表
#keberos認證
kinit -kt hdfs.keytab hdfs
#從oracle導資料到hive
sqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\
--username ***--password ***\
--table prod_fdc.equipment\
--target-dir=/user/hive/warehouse/fdc_test.db/equipment\
--hive-import --hive-database xx--hive-table xx\
--create-hive-table
在使用時，只需要替換源資料庫ip，使用者名稱和密碼，以及hive目標表的目錄，資料庫和表名
2、 建立增量抽取的job
sqoop job --create fdc_equipment_job \
-- import --connect jdbc:oracle:thin:@xx.xx.xx.xx:1521:xx \
--username ***--password ***\
--table prod_fdc.equipment \
--target-dir=/user/hive/warehouse/fdc_test.db/equipment \
--hive-import --hive-database fdc_test --hive-table equipment \
--check-column equipmentid --last-value 1893
3、 執行sqoop job
sqoop job --exec fdc_equipment_job
如果建立的job有問題，可以刪除再重新建立：
sqoop job --delete fdc_equipment_job
4、 定時執行sqoop job
首先建立乙個.sh的程式，然後通過crontab –e，建立定時執行程式
crontab -e
30 0 * * 1 /home/root/fdc/equipment_sqoop.sh >> /home/root/fdc/equipment.log 2>&1
MySQL錶用Sqoop方式匯入到Hive表中
1 首先在hive中新建資料庫mydb，2 然後開啟putty軟體，登入到安裝hive的伺服器，輸入使用者名稱和密碼後，進入到 root hdp 利用sqoop語句按照指定mysql資料庫的表新建hive表，語句如下 sqoop create hive table connect jdbc mysq...
利用Sqoop將MySQL資料匯入Hive中
參考 1.list databases sqoop list databases connect jdbc mysql username sqoop password sqoop 2.用sqoop建立hive表 sqoop create hive table connect jdbc mysql x...
SQOOP從MySQL匯入資料到Hive
一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...