背景說明
hdfs檔案系統使用一段時間後,可能會出現磁碟空間不足或是磁碟損壞的現象,此時需要對datanode節點的磁碟進行擴充或是更換,本文對操作流程做乙個簡單的總結
操作步驟掛載硬碟
新增硬碟的操作網上有很多教程,可以參考:
操作hdfs修改hdfs-size.xml配置檔案
只需要在需要配置新目錄的datanode節點上,修改hdfs-size.xml檔案的dfs.datanode.data.dir屬性,目錄用逗號分割
dfs.datanode.data.dir/opt/paas/talas/data/hdfs,/opt/paas/talas/data/hdfs2
./hdfs dfsadmin -reconfig datanode 10.5.24.139:50020 start
3.檢視配置:hadoop/bin/hdfs dfsadmin -report
3.說明
不只是新增資料目錄,上述操作步驟對刪除資料目錄依然有效,只需要刪除dfs.datanode.data.dir中對應的目錄即可
Hadoop監控方法總結
接觸hadoop已經一年半了,期間積累了一些hadoop運維經驗,一直想自己開發一套hadoop監控系統,正好最近實驗室有個相關的專案,就藉機研究了一下,在這裡總結一下hadoop監控辦法。一直認為hadoop本身自帶的hdfs和jobtracker監控頁面是最好用的監控頁面,簡單明瞭。但是現在想要...
Hadoop本地化的方法總結
環境 eclipse mar 3 hadoop2.7.3 base line host file modify c windows system32 drivers etc hosts,配置環境變數hadoop home c hadoop linux tar zip解壓hadoop2.7.3 到 c...
搞hadoop的總結
從7月19號開始,搞了三個半月hadoop了,也沒怎麼用心,真正用心做的時間甚至都不超過一周的工作時間,慚愧,愧對信任我的老師,本來打算九月底出 到現在hadoop的例子都沒執行出來。權威指南看的馬馬虎虎,所有的內容都沒有認認真真地理解,沒有逐字逐句地研究,又想起了在本科畢業後在天健做研發,懶惰的想...