wal相關配置梳理

2021-06-20 02:15:19 字數 1893 閱讀 5864

hbase.regionserver.separate.hlog.for.meta

false

是否將meta表region的wal存入單獨的hlog中,會新增.meta的副檔名

hbase.regionserver.logroll.errors.tolerated

2最大能承受的日誌輪轉時wal writer關閉失敗次數

hbase.regionserver.logroll.period

3600000

多長時間logroller會強制進行日誌輪轉,預設1小時

hbase.regionserver.optionallogflushinterval

1000

多長時間logsyncer會將hlog持久化到hdfs,預設1秒

hbase.regionserver.hlog.splitlog.writer.threads

3日誌劃分啟動寫執行緒數,預設3

hbase.hlog.split.skip.errors

true

hbase.regionserver.hlog.blocksize

67108864

hlog寫入到hdfs block大小,預設設定為檔案系統block大小

hbase.regionserver.logroll.multiplier

0.95

hlog當達到blocksize的百分比多大時,將日誌輪轉

hbase.regionserver.maxlogs

32wal最大值由這個和blocksize乘積決定,超過將會觸發memstore flush,最好這個值稍微大於

hbase.regionserver.global.memstore.lowerlimit * hbase_heapsize,防止flush雪崩

hbase.regionserver.hlog.enabled

true

是否關閉寫wal

hbase.regionserver.hlog.splitlog.buffersize

128*1024*1024

split過程中記憶體快取entries大小

hbase.master.logcleaner.ttl

600000

hlog存在於.oldlogs資料夾的最長時間,超過了會被master刪除,預設10分鐘

hbase.splitlog.report.interval.loglines

1024

hbase.splitlog.report.period

150000

hbase.splitlog.report.openedfiles

3hbase.regionserver.hlog.lowreplication.rolllimit

5hbase.regionserver.hlog.reader.impl

org.apache.hadoop.hbase.regionserver.wal.sequencefilelogreader

hbase.master.logcleaner.plugins

org.apache.hadoop.hbase.master.cleaner.timetolivelogcleaner,org.apache.hadoop.hbase.replication.master.replicationlogcleaner

放在前面的cleaner先執行,後面的後執行

hbase.regionserver.hlog.writer.impl

org.apache.hadoop.hbase.regionserver.wal.sequencefilelogwriter

hbase.regionserver.hlog.keyclass

org.apache.hadoop.hbase.regionserver.wal.hlogkey

linux 核心相關學習梳理

1 strace跟蹤程序的系統呼叫 strace 命令 輸出程序執行過程中產生的系統呼叫 輸出的一條記錄表示一條系統呼叫 引數 c 對系統呼叫進行統計 t 記錄系統呼叫花費的時間 2 c 開發安裝相關命令 configure 命令表示對編譯平台進行檢查和編譯選項的配置,生成make file檔案 m...

雜湊演算法相關梳理

1.基本概念 雜湊也成為 雜湊 任意長度的輸入,經過雜湊演算法變換成固定長度的輸出。雜湊值會產生碰撞,因為固定長度的雜湊值表示的範圍是有限的,但輸入值的範圍是無限的。通過原始資料通過相同的雜湊演算法可以計算出相同的雜湊值,但是通過雜湊值無法恢復原始資料 不同的雜湊演算法,雜湊值長度不同,但相同的雜湊...

spring等框架相關梳理

spring是乙個輕量級的ioc和aop容器框架 提供對事務的管理 是框架與框架的粘合劑。ioc 代表控制反轉 以前是物件控制其他物件 現在所有的物件被spring控制 把物件注入到bean裡 叫動態注入。以前使用jsp和servlet進行開發 需要自己new物件 這樣比較佔記憶體 new一次就建立...