匯入所有表:
sqoop import
-all
-tables –connect jdbc:mysql://ip:port/dbname --username username --password password -m 1 --hive-import;
匯入乙個表:
sqoop
import--
connect
jdbc:mysql://ip:port/dbname--
table
tablename--
username
username--
password
password-m
1--hive
-import;
hive中按照mysql中sqoop資料庫tb1表建立表tb1
sqoop create-hive-table --connect jdbc:mysql://ip:port/dbname --table tablename --fields-terminated-by
',' --username username --password password
將資料庫sqoop中表tb1資料匯入到hdfs中,map tasks數量為1
sqoop
import--
connect
jdbc:mysql://ip:port/dbname--
username
username--
password
password--
table
tablename-m
1
將hdfs中的資料匯入到hive表tb1中
load data inpath '/user/code-pc/tb1/part-m-00000'
into
table tb1;
分段並行匯入
sqoop
import--
--connect
jdbc:mysql://ip:port/dbname--
username
username--
password
password--
target
-dir
'/user/pg'--
table
tablename-m
1--where
"guidesp
<='3'"
sqoop
import--
--connect
jdbc:mysql://ip:port/dbname--
username
username--
password
password--
target
-dir
'/user/pg'--
table
tablename-m
1--where
"guidesp>'3'
andguidestep
<='5'"
並行匯入:
sqoop
import--
connect
jdbc:mysql://ip:port/dbname--
username
username--
password
password--
target
-dir
'/user/pg1/'--
split-by
columnname--
table
tablename-m
10
Sqoop(二) Sqoop匯入 匯出資料
1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中,匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs,hive,hbase 中傳輸資料,叫做 匯入,即使用import關鍵字。sqoop import connect jdbc mysql top...
sqoop匯出hive表資料到mysql
直接在mysql裡從本地檔案系統匯入資料 mysql load data local infile c users asys documents tencent files 13174605 filerecv 2015082818 into table track log fields termin...
大資料Sqoop系列之Sqoop匯入匯出資料
鏈結mysql資料庫url connect jdbc mysql 鏈結mysql資料庫使用者名稱 username root 鏈結mysql資料庫密碼 password 123456 鏈結mysql資料庫中的表 table tb1 設定map的個數 設定匯入到hdfs檔案所在的位置 target d...