HDFS DataNode的目錄結構

2021-10-24 18:26:05 字數 1579 閱讀 7539

目標:掌握datanode的目錄結構

和namenode不同的是,datanode的儲存目錄是初始階段自動建立的,不需要額外格式化。在

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopdatas/datanodedatas/current
這個目錄下檢視版本號

[root@node01 current]

# cat version

#thu mar 14 07:58:46 cst 2019

storageid=ds-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39

clusterid=cid-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4

ctime=0

datanodeuuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4

storagetype=data_node

layoutversion=-56

storageid:儲存id號

clusterid集群id,全域性唯一

ctime屬性標記了datanode儲存系統的建立時間,對於剛剛格式化的儲存系統,這個屬性為0;但是在檔案系統公升級之後,該值會更新到新的時間戳。

datanodeuuid:datanode的唯一識別碼

storagetype:儲存型別

layoutversion是乙個負整數。通常只有hdfs增加新特性時才會更新這個版本號。

這個例子中「test.txt」有兩個資料塊。

第乙個塊「block0」, 塊大小134217728(128m),塊id:1073741853,塊池id:bp-866966434-192.168.100.129-1560531186882,儲存在節點node01,node03上。

第二個塊「block0」, 塊大小49671168(47.3m) ,塊id: 1073741854,塊池id:bp-866966434-192.168.100.129-1560531186882,儲存在節點node01,node03上。

進入node01或node03節點的datanode儲存資料的目錄,進入到塊池的id目錄

進入到blk的目錄找到塊的id

HDFS DataNode公升級過程

公升級需要重點考慮的幾個問題 datastorage重要的功能就是管理磁碟儲存空間的生命週期。公升級是磁碟儲存空間生命週期管理中最重要的乙個環節,尤其是對於hdfs這樣的分布式儲存系統,公升級需要重點考慮以下幾個問題。版本相容性問題 不同版本之間相容性的設計,高版本是否需要相容低版本?不同元件之間,...

HDFS Datanode關於block檔案的管理

資料檔案真正儲存的地方是在datanode,當使用者需要填充檔案中某乙個block的實際資料內容時,就需要連線到datanode進行實際的block寫入操作,下面我們看一下datanode如何管理block,以及如何儲存block。datanode 是通過檔案儲存block資料的 datanode中...

虛擬目錄的根目錄

1 虛擬目錄的根目錄 自己指定乙個檔案系統目錄為web站點的根目錄,在server.xml中在元素中間增加 2 虛擬目錄的子目錄 1 在server.xml中在元素中間增加 3 打成乙個war包,在server.xml檔案中進行配置 部署描述符和預設頁面 tomcat conf web.xml 每乙...