使用
1 mysql匯入資料到hdfs
1.1 ./sqoop import --connect jdbc:mysql: --username root --password 123456 --table test_user --target-dir /sqoop/test_user -m 2 --fields-terminated-by "\t" --columns "id,name" --where 'id>2 and id<=6'
--connect 連線資料庫
--username 使用者
--password 密碼
--table 表名
--target-dir 目標目錄/sqoop/test_user
-m 2個mapreduce執行
--fields-terminated-by 用「\t」分隔 不用逗號預設是逗號.
--columns 只匯入 id和name兩個字段
--where 新增條件篩選 語句要用引號抱起來
1.2 ./sqoop import --connect jdbc:mysql: --username root --password 123456 --query 'select * from test_user where id < 9 and id > 1 and $conditions' --target-dir /sqoop/test_user4 -m 2 --split-by test_user.id
--query 直接用查詢語句 這樣就可以join 查詢多表
-m 1 的時候可以執行 大於1就不行 如果要多個map要設定每個map讀多少資料用--split-by分隔
--split-by test_user.id
2.hdfs資料匯出到mysql
2.1 ./sqoop export --connect jdbc:mysql: --username root --password 123456 --export-dir '/sqoop/test_user5' --table test_user -m 2
--export-dir 需要匯出的目錄/sqoop/test_user5
3.mysql匯入到hive中
./sqoop import --hive-import --connect jdbc:mysql: --username root --password 123456 --table test_user -m 2 --hive-table hive_user
--hive-import 指定匯入到hive中
--hive-table 匯入到hive中的表hive_user 如果沒有表會自動建立
sqoop常用命令
命令 1 export 將hadoop資料檔案匯入到資料庫中 2 import 將資料匯出到hadoop檔案系統中 引數解釋 connect 資料庫連線命令 username 資料庫使用者名稱 password 資料庫使用者密碼 export dir 匯入的hadoop檔案 由hadoop匯入到資料...
Sqoop 常用命令總結
sqoop幫助匯入 用法 sqoop import generic args tool args 共同論點 connect 指定jdbc連線字串 connect manager 指定要使用的連線管理器類 driver 手動指定要使用的jdbc驅動程式類 hadoop mapred home 覆蓋 h...
sqoop常用命令示範
將mysql的表匯入 hdfs bin sqoop import connect jdbc mysql hdp 1 3306 text username root password 1234 target dir sqooptest fields terminated by table studen...