hbase資料儲存過程
split概念
compact概念常用服務端配置優化
hbase properties
簡介hbase.regionserver.handler.count
rpc請求的執行緒數量,預設值是10,提公升handler大小,可以有效提公升regionserver接收請求的能力,但是也不是越大越好,取決於硬體效能
hbase.hregion.max.filesize
當region的大小大於設定值後hbase就開始split,預設大小是10g, 可以根據儲存的內容,合理配置,建議手動進行split操作
hbase.hregion.majorcompaction
major compaction的執行週期,預設為1天,建議設定為0,禁止major compaction,生產環境中,進行major compaction可能會執行一天之久,可以在業務低峰的時候,進行手動合併,或者通過指令碼,定期執行合併操作。
hbase.hstore.compaction.min
任何乙個store,裡面的storefile超過該值,會觸發預設的合併操作,預設值是3
hbase.hstore.compaction.max
一次最多合併多少個storefile,如果storefile比較大, 應該把這個值,設定小一點,避免記憶體溢位
hbase.hstore.blockingstorefiles
乙個region中的store內有超過***個storefile時候,則block所有的寫請求進行compaction
hbase.hregion.memstore.flush.size
memstore 超過該值會被flush,根據記憶體大小,可以適當調整大一點
hbase.hregion.memstore.block.multiplier
如果memstore記憶體大小超過flush.size*multiplier,會阻塞該memstore的寫操作,建議將這個值設定為5,如果設定太大,可能會出現記憶體溢位
hbase.block.cache.size
regionserver的block cache的記憶體大小限制,在偏向讀的業務中可以適當調大一些
一般我們會手動執行split和compact,以降低這些操作可能對正常業務造成的不必要的影響,我們也可以開發指令碼,來在業務低峰,定時執行split和compact 操作。
常用優化策略(以實際需求為主)
hbase 讀寫效能優化
hbase寫優化策略
hbase讀優化策略
hbase資料讀取優化 HBase效能優化 總結篇
1 hbase.hregion.max.filesize應該設定多少合適 預設值 256m 說明 maximum hstorefile size.if any one of a column families hstorefiles has?grown to exceed this value,th...
HBase查詢優化
1.概述 hbase是乙個實時的非關係型資料庫,用來儲存海量資料。但是,在實際使用場景中,在使用hbase api查詢hbase中的資料時,有時會發現資料查詢會很慢。本篇部落格將從客戶端優化和服務端優化兩個方面來介紹,如何提高查詢hbase的效率。2.內容 這裡,我們先給大家介紹如何從客戶端優化查詢...
HBase優化指南
在hbase2x 增刪改查 scala版中,有介紹hbase1.2.x增刪改查的api文件,但僅僅了解還是不夠,在不同的讀寫業務場景中,必須做出適當優化,才能滿足業務需求。本文首先講解hbase快取機制,並針對服務端 server 和客戶端 client 進行調優說明。hbase由master和re...