理解：將多個節點的容量彙總成乙個大的檔案系統，在乙個節點上傳資料，在其的節點上都能夠訪問使用
hdfs（海量資料儲存系統），mapreduce（海量資料的計算系統計算框架），yarn（集群資源管理框架）
hdfs的管理者：namenode
作用：1、維護 管理檔案系統的名字空間(元資料資訊)
2、負責確定指定的檔案塊到具體的datanode結點的對映關係。
3、維護管理 datanode上報的心跳資訊
hdfs的輔助管理者：secondarynamenode
作用：1、執行資料的讀寫（響應的是客戶端）
2、週期性向namenode做匯報（資料塊的資訊、校驗和）
若datanode 10分鐘沒有向namenode做匯報，表示已丟失（已宕機）
心跳週期 3秒 3、執行流水線的複製（一點一點複製）
yarn的管理者：resourcemanager
第乙份資料**於客戶端
第二份存放的位置是與第乙個副本在相同機架上，且不在同乙個節點，按照一定的規則（cpu 記憶體 io是用率，和硬
盤剩餘容量）找到乙個節點存放
第三個副本的存放位置是與第一第二份資料副本不在同乙個機架上，且邏輯與存放副本1和2的機架距離最近的機上
按照一定的規則（cpu 記憶體 io是用率，和硬碟剩餘容量）找到乙個節點進行存放
Hadoop安裝與集群配置
環境準備 節點teacher1 teacher2 teacher3 hdfs namenode，datanode datanode datanode，secondarynamenode yarn nodemanager resourcemanager,nodemanager nodemanager ...
Hadoop集群配置
hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...
hadoop集群配置
建立目錄 修改 home hadoop hadoop 2.7.1 etc hadoop下的配置檔案 把配置好的hadoop傳送到從節點 如果沒有目錄，請新建，沒有jdk，請提前裝，路徑和master保持一致 scp r home hadoop hadoop 2.7.1 root centos02 h...