Sqoop架構以及應用介紹

sqoop import-- connect jdbc:mysql://hadoop80:3306/hive-- table consumer-- username root-- password admin-- target -dir /outdir/-- fields -terminated-by '\t'-m

1

執行結果如下圖所示：

通過sqoop這個工具就將我們mysql資料庫中的資料匯入到了hdfs中，上面的shell命令類似我們下面的shell操作：

hadoop jar copy.jar mysql://hadoop80:3306/hive /consumer /outdir

/

sqoop import-- connect jdbc:mysql://hadoop80:3306/hive-- table consumer-- username root-- password admin-- target -dir /outdir/-- fields -terminated-by '\t'-m 1--incremental-- check -columnid- -last -value

4

增量匯入的結果如下圖所示：

從執行結果可以看出，輸出結果多了乙個part-m-00001，而該檔案中所包含的內容為：

檔案中的內容正是剛剛我們新增加的兩條記錄。

3、批量匯入

從上面匯入的命令可以看出，命令列包含的命令太多了，太麻煩了，因此如果類似的作業太多的話，我們應該將其設定為乙個作業，做成乙個指令碼檔案。

建立批指令碼作業的shell命令：

sqoop job- -create job001-- import-- connect jdbc:mysql://hadoop80:3306/hive-- table consumer-- username root-- password admin-- target -dir /outdir/-- fields -terminated-by '\t'-m

1

sqoop import-- connect jdbc:mysql://hadoop80:3306/hive-- table consumer-- username root-- password admin-- hive -import-- create -hive -table-- hive -tabled1. table1-- fields -terminated-by '\t'-m

1

執行結果如下圖所示：

通過sqoop這個工具就將我們mysql資料庫中的資料匯入到了hive資料倉儲中，上面的shell命令類似我們下面的shell操作：

hadoop jar copy.jar mysql://hadoop80:3306/hive /consumer /hive /d1.table1

sqoop import-- connect jdbc:mysql://hadoop80:3306/hive-- table consumer-- username root-- password admin-- hbase -create -table-- hbase -tablea- -column -family infor-- hbase -row -keyid- -fields -terminated-by '\t'-m

1

執行結果如下：

通過sqoop這個工具就將我們mysql資料庫中的資料匯入到了hbase中，上面的shell命令類似我們下面的shell操作：

下面給大家舉乙個例子進行相應的說明：假設將hdfs中的t1表通過sqoop匯入到mysql中的consumer表(事先必須存在)：

hdfs中t1表的內容：

mysql中已經建立好的consumer表：

shell命令如下：

sqoop export-- connect jdbc:mysql://hadoop80:3306/hive-- table consumer-- username root-- password admin-- export -dir /outdir/-- fields -terminated-by '\t'-m

1

Sqoop架構以及應用介紹

Sqoop架構以及應用介紹

什麼是Sqoop，以及應用

前端架構 MVC以及MVVM MVP介紹

Sqoop架構以及應用介紹

Sqoop架構以及應用介紹

什麼是Sqoop，以及應用

前端架構 MVC以及MVVM MVP介紹

相關推薦