當大量請求訪問hbase集群的乙個或少數幾個節點,造成少數regionserver的讀寫請求過多、負載過大,而其他regionserver負載卻很小,這樣就造成熱點現象。
大量訪問會使熱點region所在的主機負載過大,引起效能下降,甚至導致region不可用。所以我們在向hbase中插入資料的時候,應盡量均衡地把記錄分散到不同的region裡去,平衡每個region的壓力。
在對hbase的讀寫過程中,如何避免熱點現象呢?主要有以下幾種方法:
reversing
如果經初步設計出的rowkey在資料分布上不均勻,但rowkey尾部的資料卻呈現出了良好的隨機性,此時,可以考慮將rowkey的資訊翻轉,或者直接將尾部的bytes提前到rowkey的開頭。reversing可以有效的使rowkey隨機分布,但是犧牲了rowkey的有序性。
缺點:利於get操作,但不利於scan操作,因為資料在原rowkey上的自然順序已經被打亂。
salting
salting(加鹽)的原理是在原rowkey的前面新增固定長度的隨機數,也就是給rowkey分配乙個隨機字首使它和之間的rowkey的開頭不同。隨機數能保障資料在所有regions間的負載均衡。
缺點:因為新增的是隨機數,基於原rowkey查詢時無法知道隨機數是什麼,那樣在查詢的時候就需要去各個可能的regions中查詢,salting對於讀取是利空的。並且加鹽這種方式增加了讀寫時的吞吐量。
hashing
基於 rowkey 的完整或部分資料進行 hash,而後將hashing後的值完整替換或部分替換原rowkey的字首部分。這裡說的 hash 包含 md5、sha1、sha256 或 sha512 等演算法。
缺點:與 reversing 類似,hashing 也不利於 scan,因為打亂了原rowkey的自然順序。
ERP系統所謂的黑洞現象是什麼
公尺鼠資訊 不光光宇宙中存在黑洞,在 erp系統 行業也存在黑洞現象。我們知道,erp系統在企業資訊化程序中有著非常大的貢獻,業界還流傳著 不上erp是等死,上erp是找死 的口號,erp系統的四大黑洞出現也不足為奇,下面我們來介紹一下erp系統所謂的黑洞現象。首先是萬能黑洞。在很多it 商的宣傳下...
抽象是什麼
抽象 抽 抽取 抽離 分離 象 表述 表達 軟體的抽象 資料的抽象 屬性,物件 繼承 行為的抽象 介面 虛函式 抽象就是將複雜物體的乙個或幾個特性抽出去,而只注意其他特性的行動或過程 如頭腦只思考樹本身的形狀或只考慮樹葉的顏色,不受它們的大小和形狀的限制 具體來說,抽象是指 1 將複雜物體的乙個或幾...
python 物件是什麼概念
在python裡,物件就是變數,物件其實是乙個指標,指向乙個資料結構,資料結構裡有屬性,有方法。def now print 2015 3 25 f now print f.name print f.c 變數後面跟乙個小數點,小數點後面就是它的屬性或方法,帶括號的是方法,不帶的就是屬性。python中...