sqoop 從mysql 匯入資料到hbase

2021-08-20 19:28:08 字數 1411 閱讀 7857

首先我們在mysql有一張表test.tohdfs

我們在hbase中也建立一張表,

執行匯入

bin/sqoop import \

--connect jdbc:mysql: \

--username root \

--password 123456 \

--table tohdfs  \

--hbase-table hbase_tohdfs \

--column-family info  \

--hbase-create-table \

--hbase-row-key id

當然匯入成功了,對hbase的資料進行檢視,可以看到資料是完成整的,

第二種 我們加上 --hbase-bulkload 引數進行匯入

bin/sqoop import \

--connect jdbc:mysql: \

--username root \

--password 123456 \

--table tohdfs  \

--hbase-table hbase_tohdfs_bulk \

--column-family info  \

--hbase-create-table \                      表不存在會自己建立

--hbase-row-key id \

--hbase-bulkload                               不用指定輸出的路徑,後面會解釋

我們看看這個命令結束後的提示

我麼可以看到這裡給出了乙個,output的路徑,可是我們hdfs上根本不存在,這個目錄,導致我不知道該怎麼載入這個資料,但是我麼你直接去hbase中檢視表的資料

哈哈,這裡面已經有資料了,說明sqoop在建立之後,啟用了類似,complete-bulkload 的命令對資料進行了轉移,用不著我們自己再轉移一次了。

完美,以上

SQOOP從MySQL匯入資料到Hive

一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...

Sqoop將資料從Mysql匯入Hive中

hive匯入引數 hive home 重寫 hive home hive import 插入資料到hive當中,使用hive的預設分隔符 hive overwrite 重寫插入 create hive table 建表,如果表已經存在,該操作會報錯!hive table table 設定到hive當...

sqoop 增量mysql匯入hive資料

1.實現過程包括兩步。第一步將mysql的資料通過條件語句增量匯入匯入到hive的乙個臨時表中。第二步將臨時表中的資料通過動態分割槽的方式匯入到最終的結果表。增量匯入hive臨時表 可以不使用分割槽表,需要設定了資源佇列 sqoop import d mapred.job.queue.name ro...