基於HBase做Storm 實時計算指標儲存

基於hbase做storm 實時計算指標儲存

舉個例子，假設我們有客戶 10w，計算指標假設 100 個，5 個 isp，30 個地域，這樣就有億級以上的 key 了，我們還要統計分鐘級別，小時級別，天級別，月級別。所以寫入量和儲存量都不小。

如果採用 redis/memcached 寫入速度是沒有問題的，畢竟完全的記憶體操作。但是 key 集合太大，其實壓力也蠻大的，我去的時候因為加了指標，結果導致 memcache 被寫爆了，所以緊急做了擴容。

首先是 redis 查起來的太麻煩。客戶端為了某個查詢，需要彙總成千上萬個 key。。。業務方表示很蛋疼，我們也表示很蛋疼

其次，記憶體是有限的，只能存當天的。以前的資料需要轉存。

第三，你還是繞不過持久化儲存，於是引入 mysql，現在是每天一張表。那 redis 匯入到 mysql 本身就麻煩。所以工作量多了，查詢也麻煩，查乙個月半年的資料就**了。

鑑於以上原因，我們就想著有沒有更合適的方案。

我們首先就想到了 hbase，因為 hbase 還是具有蠻強悍的寫入性功能以及優秀的可擴充套件性。而事實上經過調研，我們發現 hbase 還是非常適合指標查詢的，可以有效的通過列來減少 key 的數量。