sqoop的安裝和原理

sqoop 是一款資料遷移的工具，可以從 mysql等資料庫遷移到 hdfs 裡面 ，依賴 yarn 和 hdfs,如果伺服器上面有$hadoop_home這個變數，sqoop會自動去讀取這個值來尋找yarn和namenode，安裝在一台節點機上面就可以了

安裝

tar -xvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz -c /home/hadoop/ 解壓

cp /tmp/mysql-connector-5.1.8.jar ./sqoop-1.4.4.bin__hadoop-2.0.4-alpha/lib/ 拷貝mysql的連線jar包到lib目錄下面

匯出語句：

. /sqoop import-- connect jdbc:mysql://192 .168.1 .100:3306/test-- username root-- password root-- table student-- target -dir /student2-m 2--fields -terminated-by '|'- -columns "id,

name";

如果這個表沒有主鍵，那麼個-m 只能指定是1

. /sqoop import-- connect jdbc:mysql://192 .168.1 .100:3306/test-- username root-- password root-- table student-- target -dir /student2-m 2--fields -terminated-by '|'- -columns "id, name"-- where 'id>2 andid

<=5';

–where 是條件

如果是有where –m就會失去作用

. /sqoop import-- connect jdbc:mysql://192 .168.1 .100:3306/test-- username root-- password root-- query 'select *from student where id>3 and$conditions'-m 2--target -dir /student5-- split-by student

.id

如果使用–query這個命令的時候，需要注意的是where後面的引數，and co

ndit

ions

這個引數

必須加上

而且存在

單引號與

雙引號的

區別，如

果設定m

ap數量

為1個時

即−m1

，不用加

上−−s

plit

−by ，否則需要加上

sqoop 匯入到table中，注意需要加分隔符

. /sqoop export-- connect jdbc:mysql://192 .168.1 .100/test-- username root-- password root-- export -dir '/student5'-- table student1-m 1--fields -terminated-by

','

./sqoop import --connect jdbc:mysql: --username root --password root --table people --hive-import --hive-overwrite --hive-table people --fields-terminated-by '|' -m 1;

將資料從mysql 裝載到hive裡面

sqoop的安裝和原理

Sqoop的安裝方法

SQOOP的安裝手冊

Sqoop簡介與原理

sqoop的安裝和原理

Sqoop的安裝方法

SQOOP的安裝手冊

Sqoop簡介與原理

相關推薦