將資料從hbase匯入到hive

2021-10-08 11:19:51 字數 1780 閱讀 6361

選定test0721表

hbase

(main)

:001:0

> list

table

system.catalog

system.function

system.log

system.mutex

system.sequence

system.stats

test0721

7row

(s) in 0.1500 seconds

=>

["system.catalog"

,"system.function"

,"system.log"

,"system.mutex"

,"system.sequence"

,"system.stats"

,"test0721"

]hbase

(main)

:002:0

> scan 'test0721'

row column+cell

0001 column=info:age, timestamp=

1595342472810

, value=

300001 column=info:name, timestamp=

1595342436441

, value=zhangsan

0001 column=info:***, timestamp=

1595342481869

, value=male

0001 column=like:food, timestamp=

1595342451656

0001 column=like:sport, timestamp=

1595342461471

, value=running

1row

(s) in 0.1410 seconds

hbase

(main)

:003:0

>

create external table hbase_test0721_2

(//必須是外部表,否則會報錯

row_key string,

//第乙個字段隨便取個名字,理解為主鍵

age string,

//以下字段需要與hbase中的表字段順序相對應

name string,

*** string,

food string,

sport string

)stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'

//固定寫法

with serdeproperties(=

":key,info:age,info:name,info:***,like:food,like:sport"

)//寫好hbase表中對應的列簇:列名即可

tblproperties

("hbase.table.name"

="test0721");

//hbase中對應的表名

sqoop將oracle匯入到hbase經驗之談

之前公司有個專案,通過sqoop,將oracle的資料匯入到hbase。真個過程出現過很多問題,現在我將我匯入的過程跟遇到的問題和解決方法寫下來,希望能幫助大家 先測試sqoop是否能連線到oracle sqoop list tables connect jdbc oracle thin ip 15...

04 flume將資料匯入到Hbase

我們已經了解了使用flume監聽埠以及檔案內容,本節將展示使用flume匯入資料到hbase。進到hbase啟動目錄 cd root hbase 1.2.6 bin 啟動hbase服務 start hbase.sh 登入到hbase客戶端 hbase shell 在hbase命令列建立乙個表 hba...

將hdfs資料匯入到hbase中的官方案例

首先我們在本地建立乙個檔案資料,資料中間是tab分隔符 root hdp 4 vi mrhbase.tsv 1002 pear yellow 將資料put到hdfs上 root hdp 4 hadoop fs put root mrhbase.tsv 建立hbase表 hbase main 016 ...