黑猴子的家 Zookeeper 日誌配置

2021-08-30 08:44:13 字數 767 閱讀 1774

[victor@node1 conf]$ vim log4j.properties

zookeeper.root.logger=info,rollingfile

zookeeper.log.file=zookeeper.log

# 按照日期每天輸出logs

# max log file size of 10mb

#設定滾動日誌最多為10個

[victor@node1 conf]$ vim zoo.cfg

datalogdir=/opt/module/zookeeper-3.4.10/zkdata/logs

[victor@node1 bin]$ vi zkenv.sh

if [ "x$" = "x" ]

then

#日誌輸出路徑 不需mkdir zookeeper啟動時自動建立

zoo_log_dir="/opt/module/zookeeper/zkdata/logs"

fiif [ "x$" = "x" ]

then

zoo_log4j_prop="info,rollingfile"

fi和zoo_log4j_prop這兩個環境變數,而zkserver.sh會載入zkenv.sh,因此,其實修改下bin/zkenv.sh

就可以了,日誌輸出的格式為:zookeeper.log前一天日誌的輸出格式為:zookeeper.log.201*-01-03

黑猴子的家 Zookeeper 節點型別

1 znode有兩種型別 短暫 ephemeral 客戶端和伺服器端斷開連線後,建立的節點自己刪除 持久 persistent 客戶端和伺服器端斷開連線後,建立的節點不刪除 2 znode有四種形式的目錄節點 預設是persistent 1 持久化目錄節點 persistent 客戶端與zookee...

黑猴子的家 Hadoop Checkpoint機制

fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作,並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以,這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話,checkpoint由secondname...

黑猴子的家 FileInputFormat切片機制

1 job提交流程原始碼詳解 waitforcompletion submit 1 建立連線 connect 1 建立提交job的 new cluster getconfiguration 2 判斷是本地yarn還是遠端 initialize jobtrackaddr,conf 2 提交job su...