1、列出mysql資料庫中的所有資料庫命令
# sqoop list-databases --connect jdbc:mysql: --username root --password 123456
2、連線mysql並列出資料庫中的表命令
# sqoop list-tables --connect jdbc:mysql: --username root --password 123456
命令中的test為mysql資料庫中的test資料庫名稱 username password分別為mysql資料庫的使用者密碼
3、將關係型資料的表結構複製到hive中
sqoop create-hive-table --connect jdbc:mysql: --table username --username root --password 123456 --hive-table test
其中 --table username為mysql中的資料庫test中的表 --hive-table test 為hive中新建的表名稱
4、從關聯式資料庫匯入檔案到hive中
sqoop import --connect jdbc:mysql: --username root --password mysql-password --table t1 --hive-import
5、將hive中的表資料匯入到mysql中
./sqoop export --connect jdbc:mysql: --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=2011-08-03(hive資料表的儲存路徑)
1、基本環境：使用sqoop必須安裝sqoop環境，然後在bin目錄下執行，並且確保關係型資料庫與hive資料庫以及sqoop在乙個集群下
2、步驟：檢視hive資料表儲存路徑
2、執行命令
3、遇見的問題
解決辦法：指定分割槽檔案，直到路徑下不在劃分小檔案
2）mysql資料庫和hive資料表中欄位型別不一致，匯入任務失敗-> 解決辦法：只***字段型別以及列數一致，才能匯入成功
Sqoop匯入匯出總結
bin sqoop import 輸入命令 connect jdbc mysql hadoop102 3306 testdb 指定連線jdbc埠和資料庫名稱 username root 資料庫使用者名稱 password 000000 密碼 若不適用明文指定資料庫密碼 則可以用 p table us...
Sqoop（二） Sqoop匯入 匯出資料
1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用import關鍵字。sqoop import connect jdbc mysql top...
sqoop 安裝 匯入匯出命令
sqoop的本質？將sqoop的語句轉換成mapreduce來進行資料遷移 多數為maptask sqoop的命令 import 將結構資料庫中的資料匯入到hdfs中 export 將hadoop中的資料匯出到關聯式資料庫 關係型資料庫 hdfs 關係型資料庫 hive hbase sqoop安裝 ...