clusterid
新增了乙個新的識別符號clusterid用於標識集群中所有的節點。當格式化乙個namenode，需要提供這個識別符號或者自動生成。這個id可以被用來格式化加入集群的其他namenode。
格式化namenodes
第一步: 使用如下命令格式化乙個namenode：
> $hadoop_prefix_home/bin/hdfs namenode -format [-clusterid ]
選擇乙個唯一的cluster_id，並且這個cluster_id不能與環境中其他集群有衝突。如果沒有提供cluster_id，則會自動生成乙個唯一的clusterid。
第二步: 使用如下命令格式化其他namenode：
> $hadoop_prefix_home/bin/hdfs namenode -format -clusterid
注意：步驟2中的cluster_id必須與步驟1中的cluster_id一致。如果它們是不同的，則剩餘的namenode將不會成為聯合集群的一部分。
為已存在的hdfs集群新增乙個新的namenode
步驟如下：
配置引數dfs.federation.nameservices。
nameserviceid字尾更新配置。在0.20版本之後配置項的名稱已經更改。對於federation，必須使用新的配置引數。
將與配置相關的新的namenode新增到配置檔案中。
將配置檔案傳播的集群中所有的節點上。
啟動新的namenode、secondary/backup。
重新整理datanode收集新新增的namenode，執行命令如下：
> $hadoop_prefix_home/bin/hdfs dfadmin -refreshnamenode :
上述命令必須在集群中所有的datanode上執行。
hadoop集群啟動後沒有啟動namenode
今天重新啟動hadoop，發現namenode節點沒有啟動。昨天好不容易將沒有出現的datanode啟動來。最後學習後是因為namenode預設在 tmp下建立臨時檔案，但關機後，tmp下文件自動刪除。再次啟動master造成檔案不匹配，所以namenode啟動失敗。在core site.xml中指...
Hadoop集群中新增硬碟
hadoop工作節點擴充套件硬碟空間 接到老闆任務，hadoop集群中硬碟空間不夠用，要求加一台機器到hadoop集群，並且每台機器在原有基礎上加一塊2t硬碟，老闆給力啊，哈哈。這些我把完成這項任務的步驟和我遇到的問題和解決方法總結一下，分享給大家。1.首先，介紹一下用到的基本命令和配置，如果本文的...
hadoop集群新增和格式化namenode的步驟
clusterid 新增了乙個新的識別符號clusterid用於標識集群中所有的節點。當格式化乙個namenode，需要提供這個識別符號或者自動生成。這個id可以被用來格式化加入集群的其他namenode。格式化namenodes 第一步 使用如下命令格式化乙個namenode hadoop pre...