詳解DataNode的容量監控頁面引數

2021-07-11 20:51:28 字數 560 閱讀 9296

詳解datanode的容量監控頁面引數

node : 節點名

last contact : 最後聯接的時間

admin state: 管理狀態

capacity : 總容量

used : 已用的容量大小

non dfs used : 非hadoop檔案系統所使用的空間,比如說本身的linux系統使用的,或者存放的其它檔案

remaining :剩餘可用的容量大小

blocks: 塊的數量

block pool used:塊的總容量大小

failed volumes:接受的 datanode 失敗的卷。在 datanode 停止提供服務前允許失敗的卷的數量。在預設情況下,卷故障會導致 datanode 關閉。

version : hadoop的版本

計算公式:

capacity = used + non dfs used + remaining

如截圖所示:

datanode工作機制詳解

datanode 的工作機制 問題場景 1 集群容量不夠,怎麼擴容?2 如果有一些 datanode 宕機,該怎麼辦?3 datanode 明明已啟動,但是集群中的可用 datanode 列表中就是沒有,怎麼辦?1 概述1 datanode工作職責 儲存管理使用者的檔案塊資料 定期向namenode...

解析高畫質監控錄影檔案的儲存容量

高畫質絕對是近年來炙手可熱的話題,隨著社會科技的發展和高新技術的推進,我們已經悄悄地邁入了高畫質時代,我們不會再為只有4gb大小的 模擬攝像機逐漸被數字攝像機所取代,監控高畫質標準也從掃瞄線昇華成解析度。計算高畫質監控儲存容量之前,先回顧模擬 數字高畫質的概念 儲存要求之大容量,即高畫質監控的檔案到...

DataNode的工作機制

資料完整性 1 當datanode讀取block的時候,它會計算checksum 2 如果計算後的checksum,與block建立時值不一樣,說明block已經損壞 3 client讀取其他datanode上的block 4 datanode在其檔案建立後週期驗證checksum 掉線時限引數設定...