大資料學習之十五 sqoop的安裝和使用

1.概念了解

sqoop主要用於hadoop與傳統的資料庫（mysql、postgresql...）間進行資料的傳遞，可以將乙個關係型資料庫（例如：mysql，oracle，postgrep等）中的資料導到hadoop的hdfs中，也可以將hdfs的資料導進到關係型資料庫中。

2.sqoop的安裝

（1）將壓縮包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.jar放在linux的路徑下，並修改配置檔案/etc/profile

export sqoop_home=該壓縮包所在路徑

export path=$path:$sqoop_home/bin

（2）更新環境變數的值

source /etc/profile

檢驗是否安裝成功：輸入sqoop ,顯示提示說明安裝成功。

安裝後驗證：

sqoop list-databases --connect jdbc:mysql://本地ip:3306/ --username root --password root123

若顯示資料庫，說明安裝完成。

3.sqoop的使用

sqoop支援很多對資料庫的操作，比如檢視資料庫，檢視資料表，對資料的匯入匯出，匯入所有的表。當然用的最多的還是export和import兩個指令對資料庫和hadoop資料進行匯出匯入。

（1）利用sqoop資料從mysql中匯入到hdfs

現在資料庫中建立乙個employee的表，欄位有id，name，age，place，entry_time,position

，然後再填充一些資料。

執行命令格式：sqoop import --connect jdbc:mysql://本地ip:3306/資料庫name --username root --password 123456 --table 表名--target-dir hdfs中的路徑 -m 1

需要注意的是：要匯入到hdfs中的目錄不能提前存在。

（2）將資料從hdfs匯出到mysql中

將hdfs中的資料/input/f.txt匯入到資料庫中:

執行命令格式：

#sqoop export --connect jdbc:mysql: --username root --password linux --table table03 --export-dir '/input/f.txt' --fields-terminated-by ','

其中資料庫db01，table03都是提前存在的，並且table03的屬性是對應hdfs中的資料的。