sqoop的安裝及指令 解決連線不上資料庫的問題

sqoop介紹

sqoop是apache提供的工具

用於hdfs和關係型資料庫之間資料的匯入和匯出

可以從hdfs匯出資料到關係型資料庫，也可以從關係型資料庫匯入資料到hdfs

1.準備sqoop安裝包，官網

2.配置jdk環境變數和hadooop的環境變數。因為sqoop在使用是會去找環境變數對應的路徑，從而完整工作

3.解壓sqoop

tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

5.配置環境變數（在sqoop的conf目錄下執行命令）

******注意hadoop的路徑

1.檢視密碼策略

2.設定密碼的驗證強度等級，設定validate_password_policy 的全域性引數為 low

>set global validate_password_policy=low;

4.修改密碼

>alter user 'root'@'localhost' identified by '123456';

grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;

再執行sqoop即可

啟動服務start-all.sh

進入mysql

mysql -u root -p

建資料庫

create database test;

建表create table tabx(id int,name varchar(20));

插入資料

1.檢視mysql所有資料庫

sh sqoop list-databases --connect jdbc:mysql: -username root -password 123456

sh sqoop list-tables --connect jdbc:mysql:hive -username root -password 123456

3.1有分割槽

sh sqoop import --connect jdbc:mysql:test --username root --password 123456 --table tabx --target-dir '/sqoop/tabx' --fields-terminated-by'|' --split-by id;

sh sqoop import --connect jdbc:mysql: --username root --password 123456 --table tabx --target-dir '/sqoop/tabx1' --fields-terminated-by '|' -m 1

sh sqoop export --connect jdbc:mysql: --username root --password 123456 --export-dir '/sqoop/tabx' --table tabx_new -m 1 --fields-terminated-by '|'

sh sqoop import --connect jdbc:mysql:test --username root -password 123456 --table tabx_new --hive-table taby --fields-terminated-by ' ' -m 1

解決sqoop連線mysq錯誤

一 問題描述 1.由於當前集群沒有配置zookeeper hcatalog accumlo,因此應該在sqoop的配置檔案中注釋掉判斷zookeeper hcatalog accumlo路徑是否正確的 二 解決辦法 vim usr local sqoop bin configure sqoop 將如...

sqoop的安裝及使用

sqoop安裝 安裝在一台節點上就可以了。1.上傳sqoop 2.安裝和配置 在新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdbc mysql username roo...

Sqoop的安裝及基本使用

sqoop的安裝 sqoop的安裝非常簡單，首先sqoop的底層是mapreduce，所以必須依賴於hadoop 將sqoop的壓縮包上傳解壓後，然後修改配置檔案即可 如圖所示，只需要將sqoop所在目錄下的conf目錄下的sqoop env.sh中的三個修改為實際的安裝目錄即可 sqoop的基本使...