Sqoop的安裝及基本使用

2021-10-01 04:53:37 字數 885 閱讀 1231

sqoop的安裝:

sqoop的安裝非常簡單,首先sqoop的底層是mapreduce,所以必須依賴於hadoop

將sqoop的壓縮包上傳解壓後,然後修改配置檔案即可

如圖所示,只需要將sqoop所在目錄下的conf目錄下的sqoop-env.sh中的三個修改為實際的安裝目錄即可

sqoop的基本使用:

sqoop的主要作用是將資料在傳統的關係型資料庫(rdbms)與hadoop之間進行傳遞,即可以將傳統的關係型資料庫中的資料匯入到hadoop的hdfs上,也可以將hdfs上的資料匯入到傳統的關係型資料庫中

上邊就是sqoop的主要命令,例如version檢視sqoop版本,export匯出資料,import匯入資料,list-databases檢視關係型資料庫裡面的資料庫

可以使用   bin/sqoop help+命令    的方式檢視具體的命令使用方式

例如 list-databases

在sqoop目錄下

bin/sqoop list-databases \

> --connect jdbc:mysql://mysql資料庫所在主機ip:3306 \

可以檢視到mysql的資料庫情況

sqoop的安裝及使用

sqoop安裝 安裝在一台節點上就可以了。1.上傳sqoop 2.安裝和配置 在新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdbc mysql username roo...

Sqoop基本使用

在 sqoop 中,匯入 概念指 從非大資料集群 rdbms 向大資料集群 hdfs,hive,hbase 中傳輸資料,叫做 匯入,即使用 import 關鍵字。1 確定 mysql 服務開啟正常 2 在 mysql 中新建一張表並插入一些資料 mysql uroot p123456 mysql c...

sqoop 安裝與使用

sqoop安裝 安裝在一台節點上就可以了。1.上傳sqoop 2.安裝和配置 在新增sqoop到環境變數 將資料庫連線驅動拷貝到 sqoop home lib裡 3.使用 第一類 資料庫中的資料匯入到hdfs上 sqoop import connect jdbc mysql username roo...