Hbase 統計表行數的3種方式總結

2021-07-31 21:19:24 字數 1877 閱讀 2854

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作:

1.count命令

最直接的方式是在hbase shell中執行count的命令可以統計行數。

[html]view plain

copy

hbase

>

count 『t1′  

hbase>

count 『t1′, 

interval

=>

100000  

hbase>

count 『t1′, 

cache

=>

1000  

hbase>

count 『t1′, 

interval

=>

10, 

cache

=>

1000  

其中,interval為統計的行數間隔,預設為1000,cache為統計的資料快取。這種方式效率很低,如果錶行數很大的話不建議採用這種方式。

2. 呼叫mapreduce

[plain]view plain

copy

$hbase_home/bin/hbase   org.apache.hadoop.hbase.mapreduce.rowcounter 『tablename』  

這種方式效率比上一種要搞很多,呼叫的hbase jar中自帶的統計行數的類。

3.hive over hbase

如果已經見了hive和hbase的關聯表的話,可以直接在hive中執行sql語句統計hbase表的行數。

hive over hbase 表的建表語句為:

/*建立hive與hbase的關聯表*/

[sql]view plain

copy

create

table

hive_hbase_1(

keyint

,value string)  

stored by

'org.apache.hadoop.hive.hbase.hbasestoragehandler'

with

serdeproperties (

=":key,cf:val"

)  tblproperties("hbase.table.name"

="t_hive"

,"hbase.table.default.storage.type"

="binary"

);  

/*hive關聯已經存在的hbase*/

[sql]view plain

copy

create

external 

table

hive_hbase_1(

keyint

,value string)  

stored by

'org.apache.hadoop.hive.hbase.hbasestoragehandler'

with

serdeproperties (

=":key,cf:val"

)  tblproperties("hbase.table.name"

="t_hive"

,"hbase.table.default.storage.type"

="binary"

);  

Hbase 統計表行數的3種方式

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作 1.count命令 最直接的方式是在hbase shell中執行count的命令可以統計行數。hbase count t1 hbase cou...

Hbase 統計表行數的3種方式總結

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作 1 count命令 最直接的方式是在hbase shell中執行count的命令可以統計行數。hbase count t1 hbase cou...

Hbase 統計表行數的3種方式總結

有些時候需要我們去統計某乙個hbase表的行數,由於hbase本身不支援sql語言,只能通過其他方式實現。可以通過一下幾種方式實現hbase表的行數統計工作 1.count命令 最直接的方式是在hbase shell中執行count的命令可以統計行數。hbase count t1 hbase cou...