1、namenode
namenode主要是用來儲存hdfs的元資料資訊,比如命名空間資訊,塊資訊等。是hadoop的主伺服器,管理檔案系統命名空間和集群儲存的檔案訪問。
2、datanode
datanode負責管理連線到節點的儲存。每個儲存資料的節點執行乙個datanode守護程序。
3、secondarynamenode
secondarynamenode不是 namenode 的冗餘守護程序,該程序提供週期檢查點和清理任務。出於擴充套件性和容錯性的考慮,一般將secondarynamenode執行在一台非namenode的機器上。
4、resourcemanager
resourcemanager是yarn集群主控節點,負責協調和管理整個集群(所有nodemanager)的資源。
5、nodemanager
nodemanager管理乙個yarn集群中的每乙個節點。比如監視資源使用情況( cpu,記憶體,硬碟,網路),跟蹤節點健康等。
hadoop集群預設配置和常用配置
配置hadoop,主要是配置core site.xml,hdfs site.xml,mapred site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法 2.瀏覽...
hadoop集群預設配置和常用配置
這裡是瀏覽hadoop當前版本號的預設配置檔案,其他版本號,要另外去官網找。其中第乙個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core site.xml是全域性配置,hdfs site.xml和mapred site.xml分別是hdfs和mapred的區域性配置。hd...
hadoop集群預設配置和常用配置
配置hadoop,主要是配置core site.xml,hdfs site.xml,mapred site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法 2.瀏覽...