sqoop是用於對資料進行匯入匯出的。
解壓、設定環境變數,略
把mysql………….jar(mysql驅動)放到$sqoop_home/lib中
(1)把資料從mysql匯入到hdfs
例子1,全量匯入sqoop ##sqoop命令
import ##表示匯入
--connect jdbc:
mysql://ip:3306/sqoop
##告訴jdbc,連線mysql的url
--username root ##連線mysql的使用者名稱
--password admin ##連線mysql的密碼
--table mysql1 ##從mysql匯出的表名稱
--fields-terminated-by '\t'
##指定輸出檔案中的行的字段分隔符
-m 1
##複製過程使用1個map作業
--hive-import ##把mysql表資料複製到hive空間中。如果不使用該選項,意味著複製到hdfs中
sqoop import --connect jdbc:
ps:
引數說明
–table
mysql中的表名
–fields-terminated-by
資料匯入到檔案中時以什麼為分隔符
–null-string
資料如果是空的,則用指定的符號表示
-m使用的mapreduce數量
–hive-import
把mysql表資料複製到hive空間中
例子2,增量匯入
sqoop import --connect jdbc:
ps:
引數說明
–table
mysql中的表名
–fields-terminated-by
資料匯入到檔案中時以什麼為分隔符
–null-string
資料如果是空的,則用指定的符號表示
-m使用的mapreduce數量
–hive-import
把mysql表資料複製到hive空間中
追加內容
–check-column
增量匯入時,檢查的列(按照哪一列來增量)
–last-value
按照某列增量時最後的乙個值
(2)資料從hdfs匯出到mysql
sqoop
export ##表示資料從hive複製到mysql中
--connect jdbc:
mysql://ip:3306/sqoop
--username root
--password admin
--table mysql2 ##mysql中的表,即將被匯入的表名稱
--export-dir '/user/root/warehouse/mysql1'
##hive中被匯出的檔案目錄
--fields-terminated-by '\t'
##hive中被匯出的檔案欄位的分隔符
ps:sqoop export --connect jdbc:
mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'
引數說明
export
表明是匯出操作
–table
匯出到mysql中的哪個表中
–fields-terminated-by
hdfs上的檔案是以什麼分割的
–export-dir
hdfs上哪個檔案要匯出到mysql中
(4)設定為作業,執行作業
sqoop job --create myjob --import --connect jdbc:
ps:
–create 建立了作業的引數,後邊的命令內容就是myjob這個作業所要執行的內容
sqoop job --list
ps:可以檢視sqoop中的job列表 redis cluster安裝以及操作
redis 8000.conf port 8000 cluster enabled yes cluster config file nodes 8000.conf cluster node timeout 15000 daemonize yes dir usr local redis redis d...
Scrapy 安裝介紹以及基本操作
目前我是使用第二種方法,利用anaconda安裝scrapy框架。比較簡單不會出現公升級 pip 提示。1.在日常寫 的目錄下,建乙個資料夾 scrapy測試 2.終端中輸入 cd 注意cd後有乙個空格 接著進入該資料夾 3.在終端輸入指令 scrapy startproject wxz 在該資料夾...
Redis安裝以及基本操作命令
redis安裝 cd redis 2.6.14 make prefix usr local redis install 可能會出現的錯誤提示 提示1 make 3 gcc 命令未找到 解決 yum y install gcc c 提示2 在包含自 adlist.c 34 的檔案中 zmalloc.h...