live nodes顯示為0
* 第一步：檢視datanode日誌tail -100 /home/hadoop-2.5.1/logs/hadoop-root-datanode-node2.log
* 異常問題：
* 原因：重複格式化。在第一次格式化dfs後，啟動並使用了hadoop，後來又重新執行了格式化命令（hdfs namenode -format)，這時namenode的clusterid會重新生成，而datanode的clusterid 保持不變。
* 解決辦法：將name/current下的version中的clusterid複製到data/current下的version中，覆蓋掉原來的clusterid，即保持一致。
* 重新啟動
2. eclipse上傳檔案到hadoop失敗的原因及解決方法
原因：系統沒有許可權
解決辦法：修改檔案vim hadoop/etc/hadoop/hdfs-site.xml
新增配置：
dfs.permissionsname>
falsevalue>
property>
原因：多次格式化hadoop導致版本資訊不一致
解決辦法：停掉所有服務，重新格式化
Hadoop的HA集群部分節點修改IP
由於某些原因 如網路改造 hadoop集群中部分節點的ip需要做變更，這個時候該怎麼辦呢？現以集群中worker1 worker2兩個節點需要修改ip，給出給出解決方案如下 主機名老ip新ip worker1 192.168.11.1 10.63.150.1 worker2 192.168.11.2...
Hadoop集群配置與HDFS介紹
理解 將多個節點的容量彙總成乙個大的檔案系統，在乙個節點上傳資料，在其的節點上都能夠訪問使用 hdfs 海量資料儲存系統 mapreduce 海量資料的計算系統計算框架 yarn 集群資源管理框架 hdfs的管理者 namenode 作用 1 維護 管理檔案系統的名字空間 元資料資訊 2 負責確定指...
HDFS的HA 高可用
問題 namenode是單節點的，容易發生單點故障。在hadoop2.x之後，可以部署兩個namenode，乙個active 活躍的 另外乙個是standby 備份的 如果要實現這種高可用，需要解決兩個問題 1.資料的同步 資料的同步包括兩部分 靜態資料和動態資料，靜態資料是指元資料資訊 塊名稱，大...