舉報sqoop使用hsql來儲存job資訊，開啟metastor service將job資訊共享，所有node上的sqoop都可以執行同乙個job
一、sqoop的配置檔案在sqoop.site.xml中：
1、sqoop.metastore.server.location
本地儲存路徑，預設在tmp下，改為其他路徑
2、sqoop.metastore.server.port
metastore service埠號
3、sqoop.metastore.client.autoconnect.url
sqoop自動連線的metastore位址，預設是本地的metastore位址
4、sqoop.metastore.client.enable.autoconnect
開啟自動連線。sqoop預設連線本地metastore。注釋這個配置會開啟自動連線。
二、開啟metastore service
sqoop下，nohup bin/sqoop metastore
三、建立job
varchar型別的check欄位也可以通過這種方式增量匯入（id為varchar型別的遞增數字）：
bin/sqoop job --meta-connect jdbc:hsqldb:hsql: --create job_zyztest13 -- import --connect jdbc:oracle:thin:@10.106.1.236:1521:orcl --username sqoop --password sqoop --table lxc_test_hbase_to_oracle --columns name,***,age,csrq -m 1 --hbase-table sqoop_import_test3 --column-family info --hbase-row-key name --split-by name --incremental lastmodified --check-column csrq --last-value '2012-02-01 11:0:00' --verbose
nohup /opt/hadoopcluster/sqoop-1.4.2.bin__hadoop-2.0.0-alpha/bin/sqoop job --exec job_zyztest13 > job_zyztest13.out 2>&1 &
此時，在10.106.1.234上建立了job_zyztest13這個job，通過bin/sqoop job --meta-connect jdbc:hsqldb:hsql: --list可以檢視所有job
四、定時執行
使用linux定時器：crontab -e
編輯定時器，新增*/4 * * * * /opt/hadoopcluster/sqoop-1.4.2.bin__hadoop-2.0.0-alpha/bin/sqoop job --meta-connect jdbc:hsqldb:hsql: --exec job_zyztest13 > job_zyztest13.out 2>&1 & 任務將會每四分鐘執行一次
sqoop 增量匯入
在隨著系統的執行，每天都會產生新的資料，在進行資料匯入的時候，由於之前已經匯入過資料，所以在產生新的資料的時候，就可以直接在之前導過的資料的基礎上繼續匯入資料，沒有必要之前的所有資料都重新匯入一遍 增量匯入資料的使用 以上為增量匯入的引數check column 檢查列，檢查資料庫表中的索引列，一般...
sqoop增量匯入
執行以下指令先將我們之前的資料匯入 sqoop import connect jdbc mysql master 3306 test username hive password 123456 table customer m 1使用hdfs dfs cat檢視生成的資料檔案，發現資料已經匯入.然後...
sqoop增量資料匯入
1.使用sqoop按欄位增長將mysql中資料抽取到hdfs 2.使用sqoop按時間增長將mysql中資料抽取到hdfs jps start all.sh2.開啟mysql服務。sudo service mysql start登入mysql mysql u root p3.在mysql庫中，建立s...