安裝在一台節點上就可以了。
安裝和配置
需要在環境變數中配置$hadoop_home
在新增sqoop到環境變數
將資料庫連線驅動拷貝到$sqoop_home/lib裡
都需要資料庫存在表
匯入：
sqoop
import--
connect
jdbc:mysql://192
.168
.238
.100:3306/sqoop--
username
root--
password
123-
-table
student--
target
-dir
'/sqoop/student'--
fields
-terminated-by
'\t'-m
1
sqoop
export--
connect
jdbc:mysql://192
.168
.238
.100:3306/sqoop--
username
root--
password
123-
-export
-dir
'/user/hive/warehouse/testdb
.db/student/student
.txt'--
table
student-m
1--fields
-terminated-by
'\t'
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123-
-table
trade_detail--
columns
'id,
account
,income
,expenses'
指定輸出路徑、指定資料分隔符
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123-
-table
trade_detail--
target
-dir
'/sqoop/td'--
fields
-terminated-by
'\t'
指定map數量-m
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123-
-table
trade_detail--
target
-dir
'/sqoop/td1'--
fields
-terminated-by
'\t'-m
2增加where條件
,注意：條件必須用引號引起來
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123-
-table
trade_detail--
where
'id>3'--
target
-dir
'/sqoop/td2'
增加query語句(使用
\將語句換行)
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123\--
query
'select
*from
trade_detail
where
id > 2
and$conditions'--
split-by
trade_detail.id
--target
-dir
'/sqoop/td3'
如果使用–query這個命令的時候，需要注意的是where後面的引數，and co
ndit
ions
這個引數
必須加上
，而且存
在單引號
與雙引號
的區別，
如果−−
quer
y後面使
用的是雙
引號，那
麼需要在
conditions前加上\即$conditions
如果設定map數量為1個時即-m 1，不用加上–split-by $，否則需要加上
將mysq當中的資料直接匯入到hive當中
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123-
-table
trade_detail--
hive
-import--
hive
-overwrite--
hive
-table
trade_detail--
fields
-terminated-by
'\t'
sqoop
import--
connect
jdbc:mysql://192
.168.1
.10:3306/sqoop--
username
root--
password
123-
-table
user_info--
hive
-import--
hive
-overwrite--
hive
-table
user_info--
fields
-terminated-by
'\t'
Sqoop（二） Sqoop匯入 匯出資料
1.2 rdbms hive 1.3 rdbms hbase 2.匯出資料 在sqoop中，匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs，hive，hbase 中傳輸資料，叫做 匯入，即使用import關鍵字。sqoop import connect jdbc mysql top...
sqoop 安裝 匯入匯出命令
sqoop的本質？將sqoop的語句轉換成mapreduce來進行資料遷移 多數為maptask sqoop的命令 import 將結構資料庫中的資料匯入到hdfs中 export 將hadoop中的資料匯出到關聯式資料庫 關係型資料庫 hdfs 關係型資料庫 hive hbase sqoop安裝 ...
sqoop匯入匯出
sqoop官方手冊位址 最近在看sqoop有些感想，就寫下來。sqoop是大資料裡面匯入匯出的乙個工具。關於import匯出 可以從mysql匯出到hdfs,hbase,hive,案例如下，這是乙個匯出到hdfs的案例 import connect jdbc mysql username root ...