sqoop 1 4 7 安裝配置 連線測試

環境:

hadoop2.7.7

mysql 8

zk 3.4.10

hive 3

1.上傳並解壓tar包後進入conf目錄

拷貝sqoop-env-template.sh並重命名為sqoop-env.sh(conf目錄下已經有了sqoop-site.xml)

1 export hadoop_common_home=/opt/module/hadoop-2.7.7

2 export hadoop_mapred_home=/opt/module/hadoop-2.7.7
3 export hive_home=/opt/module/hive
4 export zookeeper_home=/opt/module/zookeeper-3.4.10
5 export zoocfgdir=/opt/module/zookeeper-3.4.10

4.測試鏈結(要啟動mysql)

bin/sqoop list-databases --connect jdbc:mysql://hadoop002:3306/ --username 使用者名稱  --password 密碼或者使用-p這樣會提示輸入密碼

sqoop安裝配置

sqoop是乙個在結構化資料和hadoop之間進行批量資料遷移的工具，結構化資料可以是mysql oracle等rdbms。sqoop底層用mapreduce程式實現抽取 轉換 載入，mapreduce天生的特性保證了並行化和高容錯率，而且相比kettle等傳統etl工具，任務跑在hadoop集群上...

Python安裝，配置，連線MySQL

python介面卡連線mysql python資料庫介面卡安裝 cmd輸入pip install mysql python 1.2.5 方法三 使用pymysql，安裝命令 python m pip install pymysql mysqld 設定3306埠 port 3306 設定mysql的安...

安裝配置及啟動連線

redis定義 redis和memcached相比,的獨特之處 2 解壓原始碼並進入目錄 3 不用configure 4 直接make 5 可選步驟 make test 測試編譯情況 可能出現 need tcl 8.4這種情況,yum install tcl 6 安裝到指定的目錄,比如 usr lo...