三、高可用集群ha cluster
hdfs對於讀寫的容錯機制是基於hdfs的副本機制
對於檔案上傳
hdfs副本放置策略是預設三個備份，當前節點乙份，同一機架不同節點乙份，不同機架任任意節點乙份。如果上傳過程中某一副本上傳失敗，那麼整個塊的上傳失敗，需要重新啟動這個副本的上傳。
yarn是如何配合副本機制的
resourcemanager通常執行在namenode上，nodemanager執行在datanode上。yarn執行流程resourcemanager管理所有datanode上的nodemanager，nodemanager負責監控每一台裝置上的系統資源狀況，包括cpu、記憶體、當前節點上執行的任務、儲存的檔案塊資訊。通過心跳機制由nodemanager定時向resourcemanager匯報，以便於實時掌握整個hdfs上的資源狀況。
心跳既是nodemanager向resourcemanager匯報的機制，也是resourcemanager向datanode發布任務的機制。
resourcemanager為該應用程式分配第乙個container，並與對應的nodemanager建立通訊。
ps：
對於一些應用程式，不希望因為少數幾個任務失敗就終止執行整個作業，因為即使有任務失敗，作業的一些結果可能還是可用的。在這種情況下，可以為作業設定在不觸發作業失敗的情況下允許任務失敗的最大百分比。針對maptask和reducetask可以通過mapreduce.map.failures.maxpercent設定。
ps：
ps：
zookeeper負責namenode的容錯
hadoop之hadoop基礎介紹
hadoop是什麼？是乙個分布式基礎架構，主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本？apache clourdera hortonworks hadoop優勢？高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別？hdfs hadoop distributed...
Hadoop學習筆記（四）Hadoop偽分布式配置
這一篇是介紹hadoop偽分布式的配置中的hadoop的配置。第一部分是hadoop1.0配置，第二部分是hadoop2.0的配置，大家可以自己選擇檢視。linux配置可以檢視hadoop學習筆記 三 linux環境配置 hadoop的五個核心守護程序有 namenode，secondaryname...
hadoop 開發基礎
目錄 rz的使用 vi 快捷鍵 檔案許可權的操作 配置免密碼登陸 後台服務管理 iptable 防火牆 linux 中的軟體安裝 本地yum安裝倉庫配置 檔案上傳到linux 是上傳到當前目錄所在的資料夾 yum list grep lrzsz sudo yum y install lrzsz.x8...