Sqoop匯入資料到HDFS上

flume收集日誌：主動的和被動的

看文件sqoop底層是mr，要執行sqoop要有yarn環境，做大資料平台和關係型資料庫匯入匯出工具，必須要有連線資料庫的驅動

[root@node1 ~]# service mysql start

[root@node1 ~]# service mysql status

[root@node1 software]# tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -c /opt/modules

[root@node1 software]# cd /opt/modules
[root@node1 modules]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6

[root@node1 sqoop-1.4.6]# vi option1

import

--connect
jdbc:mysql://node1/test
--username
root
--password
123456
--columns
id,name
--where
1=1--table
t_test
--target-dir(指定資料儲存到hdfs上的目錄)
/sqoop/data
--as-textfile
--fields-terminated-by
','-m(指定maptask的數目)
1

[root@node1 sqoop-1.4.6]# ./bin/sqoop --options-file option1

[root@node1 sqoop-1.4.6]# hadoop fs -cat /sqoop/data/part-m-00000

hive> create table tt_test(id int,name string)

> row format delimited
> fields terminated by ',';

hive> load data inpath '/sqoop/data/part-m-00000' into table tt_test;

hive> select * from tt_test;

Sqoop匯入HDFS格式問題

1 使用text格式 sqoop import connect jdbc oracle thin ip 1521 asmp2 username password query select from sbpopt.tt maintenance times correct where condition...

sqoop2從hdfs中匯入到mysql

資料準備 hive資料庫檔案 例路徑為 user hadoop hive test 在mysql建立與hive中資料庫結構一樣的資料庫。啟動sqoop2服務 sqoop2 server start 登入客戶端 sqoop2 shell 建立資料庫物件 建立hdfs的link物件 建立乙個job作業 ...

sqoop從hdfs 中匯出資料到mysql

bin sqoop export connect jdbc mysql mini1 3306 study?useunicode true characterencoding utf 8 username root password root table top n city m 1 export d...