sqoop常用命令

2021-08-20 02:01:59 字數 897 閱讀 2167

命令:

1、export :將hadoop資料檔案匯入到資料庫中

2、import :將資料匯出到hadoop檔案系統中

引數解釋:

--connect  資料庫連線命令

--username 資料庫使用者名稱

--password 資料庫使用者密碼

--export-dir 匯入的hadoop檔案(由hadoop匯入到資料庫)

--target-dir 匯出的hadoop檔案(由資料庫匯出hadoop)

--table 匯入的資料庫表名

--columns匯入的資料庫表字段

--where 匯入的資料庫表where條件

--query  匯入的資料庫表查詢語句,查詢where語句後面必須加上and $conditions

--fields-terminated-by '|'  標識hadoop資料檔案分隔符

-m 啟動的map數量

--split-by  指定按資料庫表列拆分(入庫表沒有主鍵,則需要指定拆分列或者指定map數量為1)

常用命令示例:

1、通過sqoop匯出資料到mysql表中

2、將mysql庫表資料匯入到hadoop中,指定輸出路徑、指定資料分隔符,指定map數量

3、將mysql庫表資料匯入到hadoop中,指定輸出路徑、指定資料分隔符,指定拆分字段

4、將mysql庫表指定字段資料匯入到hadoop中,指定輸出路徑、指定資料分隔符,指定map數量

5、將mysql庫表指定where條件資料匯入到hadoop中,指定輸出路徑,指定map數量

6、將mysql庫表自定義查詢語句結果資料匯入到hadoop中,指定輸出路徑,指定map數量

sqoop常用命令

使用 1 mysql匯入資料到hdfs 1.1 sqoop import connect jdbc mysql username root password 123456 table test user target dir sqoop test user m 2 fields terminated...

Sqoop 常用命令總結

sqoop幫助匯入 用法 sqoop import generic args tool args 共同論點 connect 指定jdbc連線字串 connect manager 指定要使用的連線管理器類 driver 手動指定要使用的jdbc驅動程式類 hadoop mapred home 覆蓋 h...

sqoop常用命令示範

將mysql的表匯入 hdfs bin sqoop import connect jdbc mysql hdp 1 3306 text username root password 1234 target dir sqooptest fields terminated by table studen...