記錄Storm寫HBase效能的乙個問題

一、集群storm版本：

storm version命令打出來的：

storm 0.10.0.2.3.0.0-2557

url [email protected]:hortonworks/storm.git -r 38fad7c05bd00ac4ca61b68abf7411d9abc6189c

branch (no branch)

compiled by jenkins on

2015-07-14t14:45z

from source with checksum 43c4b3baaad6a0bca88145356d46327

本地storm版本：apache-storm-0.10.1 注意版本和集群並不一致

storm-hbase jar包版本：

<
dependency
>
<
groupid
>org.apache.storm
groupid
>
<
artifactid
>storm-hbase
artifactid
>
<
version
>0.10.0
version
>
dependency
>

hbase version：

[root@node3 tmp]# hbase version

2016-07-08 14:02:14,137 info [main] util.versioninfo: hbase 1.1.1.2.3.0.0-2557

2016-07-08 14:02:14,140 info [main] util.versioninfo: source code repository git: revision=6a55f21850cfccf19fa651b9e2c74c7f99bbd4f9

2016-07-08 14:02:14,140 info [main] util.versioninfo: compiled by jenkins on tue jul 14 09:41:13 edt 2015

2016-07-08 14:02:14,140 info [main] util.versioninfo: from source with checksum 8f076e3255b10e166a73c2436c2b1706

二、本地模式下測試往hbase裡寫資料，拓撲定義**如下，用了自帶的hbasebolt類

public
class
persisttopology  
else
}}

測試結果：520多萬條資料，寫了幾個多小時，平均一秒鐘才幾百條

問題原因：看了hbasebolt類的原始碼發現，此版本實現不是批量發的，如下，每收到乙個tuple會呼叫execute函式，然後就直接batchmutate發出去了

@override
public
void
execute(tuple tuple)  
catch
(exception e)
this
.collector.ack(tuple);
}

二、下了乙個apache-storm-1.0.1的原碼發現execute函式的實現已經變成真正的批量傳送，如下：

@override
public
void
execute(tuple tuple) /{}]", tuplebatch.size(), batchsize);
collector.ack(tuple);
flush = true
;            } 
else
}if (flush && !tuplebatch.isempty()) 
tuplebatch.clear();
batchmutations.clear();}} 
catch
(exception e)
tuplebatch.clear();
batchmutations.clear();
}}

batchsize可以設定，一旦當前資料量超過這個值就會被批量寫入到hbase，同時，if (tupleutils.istick(tuple))這個目測是一種機制，隔一段時間bolt就會收到這樣乙個tick tuple，類似於一種

定時的機制，這樣可保證到達這個時間後即使資料量不到batchsize這麼多也能被及時寫入，該值可以設定，通過**或storm.yaml配置檔案都可以,**設定如下：

conf.put("hbase.conf", hbconf);
8);
32);
16384);
16384);
conf.put(config.topology_tick_tuple_freq_secs,    1);

配置檔案設定如下，**設定應該優先順序更高（還沒試過）：

[root@node1 conf]# more storm.yaml |grep
tuple
topology.tick.tuple.freq.secs : 
1

沒有公升級storm版本，直接在當前的版本裡把新版本中優化的**抄了過來，上集群測試。

測試結果：資料量和之前一樣，但是有非常大的提公升，之前需要5個多小時寫入的資料，差不多二十分鐘就寫完了

記錄Storm寫HBase效能的乙個問題

提高HBase寫效能

HBase寫效能優化之引數篇

Storm效能優化

記錄Storm寫HBase效能的乙個問題

提高HBase寫效能

HBase寫效能優化之引數篇

Storm效能優化

相關推薦