1、znode有兩種型別
短暫(ephemeral):客戶端和伺服器端斷開連線後,建立的節點自己刪除
持久(persistent):客戶端和伺服器端斷開連線後,建立的節點不刪除
2、znode有四種形式的目錄節點(預設是persistent )
(1)持久化目錄節點(persistent)
客戶端與zookeeper斷開連線後,該節點依舊存在
(2)持久化順序編號目錄節點(persistent_sequential)
客戶端與zookeeper斷開連線後,該節點依舊存在,只是zookeeper給該節點名稱進行順序編號
(3)臨時目錄節點(ephemeral)
客戶端與zookeeper斷開連線後,該節點被刪除
(4)臨時順序編號目錄節點(ephemeral_sequential)
客戶端與zookeeper斷開連線後,該節點被刪除,只是zookeeper給該節點名稱進行順序編號
建立znode時設定順序標識,znode名稱後會附加乙個值,順序號是乙個單調遞增的計數器,由父節點維護
4、分布式系統中
在分布式系統中,順序號可以被用於為所有的事件進行全域性排序,這樣客戶端可以通過順序號推斷事件的順序
黑猴子的家 Zookeeper 日誌配置
victor node1 conf vim log4j.properties zookeeper.root.logger info,rollingfile zookeeper.log.file zookeeper.log 按照日期每天輸出logs max log file size of 10mb ...
黑猴子的家 Hadoop Checkpoint機制
fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作,並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以,這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話,checkpoint由secondname...
黑猴子的家 FileInputFormat切片機制
1 job提交流程原始碼詳解 waitforcompletion submit 1 建立連線 connect 1 建立提交job的 new cluster getconfiguration 2 判斷是本地yarn還是遠端 initialize jobtrackaddr,conf 2 提交job su...