目標:掌握datanode的目錄結構
和namenode不同的是,datanode的儲存目錄是初始階段自動建立的,不需要額外格式化。在
/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopdatas/datanodedatas/current
這個目錄下檢視版本號
[root@node01 current]
# cat version
#thu mar 14 07:58:46 cst 2019
storageid=ds-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39
clusterid=cid-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4
ctime=0
datanodeuuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4
storagetype=data_node
layoutversion=-56
storageid:儲存id號
clusterid集群id,全域性唯一
ctime屬性標記了datanode儲存系統的建立時間,對於剛剛格式化的儲存系統,這個屬性為0;但是在檔案系統公升級之後,該值會更新到新的時間戳。
datanodeuuid:datanode的唯一識別碼
storagetype:儲存型別
layoutversion是乙個負整數。通常只有hdfs增加新特性時才會更新這個版本號。
這個例子中「test.txt」有兩個資料塊。
第乙個塊「block0」, 塊大小134217728(128m),塊id:1073741853,塊池id:bp-866966434-192.168.100.129-1560531186882,儲存在節點node01,node03上。
第二個塊「block0」, 塊大小49671168(47.3m) ,塊id: 1073741854,塊池id:bp-866966434-192.168.100.129-1560531186882,儲存在節點node01,node03上。
進入node01或node03節點的datanode儲存資料的目錄,進入到塊池的id目錄
進入到blk的目錄找到塊的id
HDFS DataNode公升級過程
公升級需要重點考慮的幾個問題 datastorage重要的功能就是管理磁碟儲存空間的生命週期。公升級是磁碟儲存空間生命週期管理中最重要的乙個環節,尤其是對於hdfs這樣的分布式儲存系統,公升級需要重點考慮以下幾個問題。版本相容性問題 不同版本之間相容性的設計,高版本是否需要相容低版本?不同元件之間,...
HDFS Datanode關於block檔案的管理
資料檔案真正儲存的地方是在datanode,當使用者需要填充檔案中某乙個block的實際資料內容時,就需要連線到datanode進行實際的block寫入操作,下面我們看一下datanode如何管理block,以及如何儲存block。datanode 是通過檔案儲存block資料的 datanode中...
虛擬目錄的根目錄
1 虛擬目錄的根目錄 自己指定乙個檔案系統目錄為web站點的根目錄,在server.xml中在元素中間增加 2 虛擬目錄的子目錄 1 在server.xml中在元素中間增加 3 打成乙個war包,在server.xml檔案中進行配置 部署描述符和預設頁面 tomcat conf web.xml 每乙...