Sqoop1 4 2資料同步工具基礎使用

我們使用sqoop主要是用作資料庫和hdfs之間的資料同步操作。

那麼在hdfs中主要使用的管理工具是hive。

目前，使用sqoop使用 hive-import功能是有異常的。

在使用hive-import功能的時候，會自動生成create table 指令碼。

而無法根據hive的metadata來進行操作。

而在使用-query功能，也就是通過查詢指令碼進行資料匯入時，是必須要指定--target-dir的。

而且使用-query中，query裡面必須要加上$conditions (注意s)

這一點在結合hive使用的時候會帶來一些麻煩。

那麼這裡先展示一下從oracle匯入資料的指令碼(注意，使用oracle指令碼的時候使用英文大寫！)：

sqoop import --connect jdbc:oracle:thin:@xx.xx.xx.xx:1582:test\

--username aaaaaa  \
--password ***xx  \
--query "select a,b,c from test where \$conditions" \
-m 1   \
--target-dir /user/daxingyu930/warehouse/test  \
--fields-terminated-by '\t' --lines-terminated-by '\n'  \
--verbose

--fields & lines...這個就指定分隔符和換行符。

在hive建表後再匯入對應的資料，好指定對應的分隔符換行符。 

關於使用sqoop進行資料匯出。是不支援讀取hive的元資料功能的。

所以hdfs中是什麼樣的字段順序，那麼匯出就是怎樣的順序。

sqoop export --connect jdbc:oracle:thin:@xx.xx.xx.xx:1582:test  \

--username aaaaaa --password ***xx   \ 
--table pa18odsdata.test  \  
--export-dir /user/daxingyu930/warehouse/test \ 
--input-fields-terminated-by '\t'

sqoop資料遷移工具

注 為了表達清晰做了換行，執行時請放在一行中，使用空格隔開，或者加 進行行連線 在profiles中新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 sqoop import connect jdbc mysql username root password 123 ...

sqoop工具資料遷移

sqoop 發音 skup 是一款開源的工具，主要用於在hadoop hive 與傳統的資料庫 mysql postgresql 間進行資料的傳遞，可以將乙個關係型資料庫 例如 mysql oracle postgres等 中的資料導進到hadoop的hdfs中，也可以將hdfs的資料導進到關係型資...

字段型別 sqoop 資料遷移工具Sqoop

熬過去，出眾。熬不過，出局。這是最真實的人生，人都是熬過來的。sqoop 是乙個用來將hadoop和關係型資料庫中的資料相互轉移的工具，它是hadoop環境下連線關聯式資料庫與hadoop儲存系統的橋梁，支援多種關係型資料來源和hive hdfs hbase的相互匯入。支援全表匯入，也支援增量資料匯...