hadoop集群datanode啟動不起來

2021-09-05 12:08:01 字數 718 閱讀 3888

hadoop集群中一般在多次格式化後datanode啟動不起來,是因為hadoop集群在多次格式化時datanode的並不會重新格式化,而namenode則會重新格式化,此時再啟動hadoop就會導致namenode中的key值與datanode中的不匹配

可以通過檢視日誌發現:

/mnt/sdb5_hadoop_use/hadoop2.6-datadir/current 裡面有version檔案開啟發現clusterid與master中的/home/hadoop/hadoop-2.6/tmp/dfs/name/current/version裡面的clusterid並不相同,因此datanode啟動失敗;

解決方法是可以簡單粗暴的把/mnt/sdb5_hadoop_use/hadoop2.6-datadir裡面的檔案全部刪除;在hadoop重新啟動的時會自動乙個和namenode一致的,datanode就可以啟動成功

Hadoop(二)Hadoop集群搭建

準備好三颱centos系統,配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映,修改 etc hosts,...

Hadoop集群配置

hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...

操作Hadoop集群

操作hadoop集群 所有必要的配置完成後,將檔案分發到所有機器上的hadoop conf dir目錄。這應該是所有機器上相同的目錄。一般來說,建議hdfs和yarn作為單獨的使用者執行。在大多數安裝中,hdfs程序作為 hdfs 執行。yarn通常使用 紗線 帳戶。hadoop啟動 要啟動hado...