sqoop實現資料的抽取

1. sqoop help 2. 列出主機所有的資料庫 sqoop list-databases --connect jdbc:mysql: --username root --password 123456 3.檢視某乙個資料庫下面的所有資料表 sqoop list-tables --connect jdbc:mysql:hive (表名)

--username root --password 123456

步驟:

1: 準備好mysql資料庫的表,以及表資料
2: 將mysql表資料匯入到hdfs
sqoop import --connect jdbc:mysql:資料庫名字 
--password 123456 --username root --table 表名 --m 1 
注意，mysql位址必須為伺服器ip，不能是localhost或者機器名。
解釋: --m 1  mr個數  指定為1個  預設5個
為了驗證在hdfs匯入的資料，請使用以下命令檢視匯入的資料
hdfs  dfs  -ls  /user/root/表名(mysql)     沒指定目錄  預設在/user/root目錄下
在匯入表資料到hdfs時，使用sqoop匯入工具，我們可以指定目標目錄。
使用引數 --target-dir來指定匯出目的地，
使用引數--delete-target-dir來判斷匯出目錄是否已存在，如果存在就刪掉
sqoop import  --connect jdbc:mysql:test --username root --password 123456 --delete-target-dir --table emp  --target-dir /sqoop/emp --m 1   (mr的split切分數量)
匯入到hdfs指定目錄並指定字段之間的分隔符
sqoop import  --connect jdbc:mysql:test --username root --password 123456 --delete-target-dir --table emp  --target-dir /sqoop/emp2 --m 1 --fields-terminated-by '\t'
3: 將資料匯入到hive  將mysql當中的資料匯入到hive表當中來
3.1: 建立hive資料庫
3.2: 建立hive表(為了方便查詢hive表字段最好和mysql資料庫欄位名字一致)
3.3: 開始匯入
sqoop import \
--connect jdbc:mysql:test \    #test是mysql資料庫名字
--username root \
--password 123456 \
--table emp \                         #mysql表名
--fields-terminated-by '\t' \         #指定分隔符
--hcatalog-database sqooptohive \     #hive資料庫名字
--hcatalog-table emp_hive \           #hive表名
-m 1                                  #(mr的split切分數量)
3.4: 可以查詢資料了

步驟:

1:在mysql找那個鍵匯出表,字段最好和hive表一致 2:通過export來實現資料的匯出，將hive的資料匯出到mysql當中去 sqoop export \ --connect jdbc:mysql:test --username root --password 123456 \ --table emp_out \ #mysql表名字 --hcatalog-database sqooptohive \ --hcatalog-table emp_hive \

-m 1

sqoop實現資料的抽取

Sqoop通過條件實現資料的抽取

Sqoop資料抽取待續

sqoop定時增量抽取資料到hive

sqoop實現資料的抽取

Sqoop通過條件實現資料的抽取

Sqoop資料抽取 待續

sqoop定時增量抽取資料到hive

相關推薦

Sqoop資料抽取待續