前兩天在觀察kafka消費資料的時候，發現hbase偶爾會報乙個org.apache.hadoop.hbase.regiontoobusyexception: org.apache.hadoop.hbase.regiontoobusyexception這種錯誤出來，從描述上看，是hbase寫入太過頻繁導致的。
首先來看我的寫入操作**:
/**
* 單條更新hbase資料
* *@param tablename
* 表名
*@param put
* put物件
*@return 成功與否
*@throws ioexception
*/public
synchronized
boolean
insert(string tablename, put put) throws ioexception
解決方式:批量寫入
首先，在hbase-site.xml配置檔案中加入(也可以使用其他配置方式，如**方式，但是不建議使用**方式，發布時候還要重新編譯，太麻煩):
hbase.client.write.buffername>
5242880value>
property>
接著，修改單條寫入時候的**:
public
synchronized
boolean
insert(string tablename, put put) throws ioexception
public
void
put(put put) throws ioexception
}
另外，在table進行關閉的時候，也會隱性的將資料寫入資料庫:
public
void
close() throws ioexception while(!e);
} catch (interruptedexception var2)
}if(this.cleanupconnectiononclose && this.connection != null)
this.closed = true;
}}
public
void
mutate(list<? extends mutation> ms) throws interruptedioexception, retrie***haustedwithdetail***ception else
}if(this.ap.haserror()) else
while(this.currentwritebuffersize.get() > this.writebuffersize)
}}
ps:如果想讓資料立即寫入，可以顯示呼叫flushcommits或者呼叫close方法。
Hbase的資料寫入
建立多個htable 客戶端用於寫操作，提高寫資料的吞吐量，乙個例子 static final configuration conf hbaseconfiguration.create static final string table log name user log wtablelog new...
hbase資料讀取優化 HBase效能優化 總結篇
1 hbase.hregion.max.filesize應該設定多少合適 預設值 256m 說明 maximum hstorefile size.if any one of a column families hstorefiles has?grown to exceed this value,th...
HBase查詢優化
1.概述 hbase是乙個實時的非關係型資料庫，用來儲存海量資料。但是，在實際使用場景中，在使用hbase api查詢hbase中的資料時，有時會發現資料查詢會很慢。本篇部落格將從客戶端優化和服務端優化兩個方面來介紹，如何提高查詢hbase的效率。2.內容 這裡，我們先給大家介紹如何從客戶端優化查詢...