Sqoop 之初認識以及安裝 操作

2021-07-04 10:26:36 字數 2342 閱讀 4852

sqoop是用於對資料進行匯入匯出的。

解壓、設定環境變數，略

把mysql………….jar（mysql驅動）放到$sqoop_home/lib中

(1)把資料從mysql匯入到hdfs

sqoop                                       ##sqoop命令


import                                  ##表示匯入


--connect jdbc:


mysql://ip:3306/sqoop


##告訴jdbc，連線mysql的url


--username root                         ##連線mysql的使用者名稱


--password admin                        ##連線mysql的密碼


--table mysql1                          ##從mysql匯出的表名稱


--fields-terminated-by '\t'


##指定輸出檔案中的行的字段分隔符


-m 1


##複製過程使用1個map作業


--hive-import      ##把mysql表資料複製到hive空間中。如果不使用該選項，意味著複製到hdfs中
例子1，全量匯入

sqoop import --connect jdbc:
ps：

引數說明

–table

mysql中的表名

–fields-terminated-by

資料匯入到檔案中時以什麼為分隔符

–null-string

資料如果是空的，則用指定的符號表示

-m使用的mapreduce數量

–hive-import

把mysql表資料複製到hive空間中

例子2，增量匯入

sqoop import --connect jdbc:
ps：

引數說明

–table

mysql中的表名

–fields-terminated-by

資料匯入到檔案中時以什麼為分隔符

–null-string

資料如果是空的，則用指定的符號表示

-m使用的mapreduce數量

–hive-import

把mysql表資料複製到hive空間中

追加內容

–check-column

增量匯入時，檢查的列(按照哪一列來增量)

–last-value

按照某列增量時最後的乙個值

(2)資料從hdfs匯出到mysql

sqoop                     


export                       ##表示資料從hive複製到mysql中


--connect jdbc:


mysql://ip:3306/sqoop


--username root


--password admin


--table mysql2               ##mysql中的表，即將被匯入的表名稱


--export-dir '/user/root/warehouse/mysql1'


##hive中被匯出的檔案目錄


--fields-terminated-by '\t'


##hive中被匯出的檔案欄位的分隔符


sqoop export --connect jdbc:


mysql://hadoop0:3306/hive  --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'
ps：

引數說明

export

表明是匯出操作

–table

匯出到mysql中的哪個表中

–fields-terminated-by

hdfs上的檔案是以什麼分割的

–export-dir

hdfs上哪個檔案要匯出到mysql中

(4)設定為作業，執行作業

sqoop job --create myjob --import --connect jdbc:
ps:

–create 建立了作業的引數，後邊的命令內容就是myjob這個作業所要執行的內容

sqoop job --list
ps：可以檢視sqoop中的job列表

redis cluster安裝以及操作

redis 8000.conf port 8000 cluster enabled yes cluster config file nodes 8000.conf cluster node timeout 15000 daemonize yes dir usr local redis redis d...

Scrapy 安裝介紹以及基本操作

目前我是使用第二種方法，利用anaconda安裝scrapy框架。比較簡單不會出現公升級 pip 提示。1.在日常寫 的目錄下，建乙個資料夾 scrapy測試 2.終端中輸入 cd 注意cd後有乙個空格 接著進入該資料夾 3.在終端輸入指令 scrapy startproject wxz 在該資料夾...

Redis安裝以及基本操作命令

redis安裝 cd redis 2.6.14 make prefix usr local redis install 可能會出現的錯誤提示 提示1 make 3 gcc 命令未找到 解決 yum y install gcc c 提示2 在包含自 adlist.c 34 的檔案中 zmalloc.h...