文件 hbase Hbase 的一點小總結

2021-10-14 17:23:26 字數 1755 閱讀 5859

記錄一下當時在管理 cdh 版本的 hbase 時候的一些小經驗。

canary 是乙個階段性檢查 regionserver 是否存活的服務。預設是關閉的，你可以啟用這個服務，並設定一些相關屬性。

/usr/bin/hbase org.apache.hadoop.hbase.tool.canary --daemon
具體可配置選項可以檢視官網文件。

使用 hbck 命令有兩種模式：

執行 hbck 命令(不帶引數：檢查表並列印ok，若有問題，只會顯示問題的數目。)

/usr/lib/hbase/bin/hbase hbck
列印詳細的檢查日誌：

/usr/lib/hbase/bin/hbase hbck -details
檢查指定的表：

/usr/lib/hbase/bin/hbase hbck
如果正在讀某個 block 比較慢，hdfs 客戶端會啟動另乙個並行的執行緒去讀此 block 的副本。此功能只能在 hfiles 儲存在 hdfs 上的時候被啟用，預設是關閉的。

啟用 hedged read

在 hbase 集群的每一台機器上面的 hbase-site.xml 檔案設定如下屬性。

dfs.client.hedged.read.threadpool.size


20dfs.client.hedged.read.threshold.millis


10
當時在 hbase 的管理介面上發現 region 在各個 rs 上面並不均衡，通過查閱文件得出需要配置以下兩個屬性。

hbase.balancer.period


3000000


hbase.master.loadbalancer.class


org.apache.hadoop.hbase.master.balancer.stochasticloadbalancer
同時，如果對 rs 使用 graceful_stop，這個指令碼會去檢查 balancer 是否開啟，如果是，會自動把 balancer 關閉，故節點下線之後需要手動開啟 balancer。命令如下：

balance_switch true
同時，也可以手動關閉 balancer，命令如下:

balance_switch false
注：這是管理 cdh 版本 hbase 的辦法。

切換 balance :

balance_switch false
2. unload :

/usr/bin/hbase --config  /etc/hbase/conf org.jruby.main /usr/lib/hbase/bin/region_mover.rb  unload
3. 停止 rs :

service hbase-regionserver stop
4. 切換 balance :

balance_switch true
managing the hbase service​www.cloudera.com

寫文件的一點感想

用了一周的時間，把機房管理系統的主要文件寫完了，主要是寫了四個文件 可行性研究報告，需求分析，概要設計，詳細設計。寫文件也不是一件容易活兒。我把我對軟體文件的認識寫出來。用問答的形式。1 問，寫文件到底是在寫什麼？答 寫文件到底在寫什麼。我說，我們在寫思想。你怎麼想的你就怎麼寫出來。寫出來以後就不光...

寫文件的一點感想

用了一周的時間，把機房管理系統的主要文件寫完了，主要是寫了四個文件 可行性研究報告，需求分析，概要設計，詳細設計。寫文件也不是一件容易活兒。我把我對軟體文件的認識寫出來。用問答的形式。1 問，寫文件到底是在寫什麼？答 寫文件到底在寫什麼。我說，我們在寫思想。你怎麼想的你就怎麼寫出來。寫出來以後就不光...

一點一點進步

requestparam,是獲取前端傳遞給後端的引數，可以使get方式，也可以是post方式。若前端傳遞的引數和後端接收的引數名稱不一致，則必須要標註。pathvariable,是獲取get方式，url後面引數，進行引數繫結。1.裝箱就是講基本資料型別轉換為包裝類，拆箱就是自動將包裝類轉換為基本資料...