yarn:分布式資源管理器
zookeeper:分布式協作服務
zookeeper是乙個分布式協調服務(coordination),乙個leader,多個follower組成的集群,就是為使用者的分布式應用程式提供協調服務。
zookeeper是為別的分布式程式服務的。zookeeper所提供的服務涵蓋:主從協調、伺服器節點動態上下線、統一配置管理、分布式共享鎖、統一名稱服務等。
yarn的目標就是實現「乙個集群多個框架」,即在乙個集群上部署乙個統一的資源排程管理框架yarn,在yarn之上可以部署其他各種計算框架。由yarn為這些計算框架提供統一的資源排程管理服務,並且能夠根據各種計算框架的負載需求,調整各自占用的資源,實現集群資源共享和資源彈性收縮。
可以實現乙個集群上的不同應用負載混搭,有效提高了集群的利用率。
不同計算框架可以共享底層儲存,避免了資料集跨集群移動。
yarn相當於**,負責管理機器資源的分配,有困難找**,**安排人力物力來解決你的問題。這個才是你說的管理節點。
zookeeper相當於立法委員會,目標是提供權威的資訊給這個國家所有的人。zookeeper關注的主要是資訊的一致性,管理一些需要在所有人心中保持一致的資訊。
Spark Standalone和Yarn工作模式
其中 deploy mode預設為client。standalone client模式提交任務 spark submit master spark node1 7077 deploy mode client class org.apache.spark.examples.sparkpi exampl...
Yarn的架構和原理
yarn的簡介 yarn是hadoop2引入的通用的資源管理和任務排程的平台,可以在yarn上執行mapreduce tez spark等多種計算框架,只要計算框架實現了yarn所定義的介面,都可以執行在這套通用的hadoop資源管理和任務排程平台上。產生背景 hadoop1.0是由hdfs和map...
yarn的安裝和使用
yarn 的特點 超級安全。在執行 之前,yarn 會通過演算法校驗每個安裝包的完整性。超級可靠。使用詳細 簡潔的鎖檔案格式和明確的安裝演算法,yarn 能夠保證在不同系統上無差異的工作。yarn 的安裝 安裝node.js,nodejs安裝與配置環境 yarn 源安裝,分別複製貼上以下 行到黑視窗...