實用 Spark Yarn模式

2021-09-29 16:21:11 字數 1889 閱讀 4992

spark客戶端直接連線yarn，不需要額外構建spark集群。有yarn-client和yarn-cluster兩種模式，主要區別在於：driver程式的執行節點。

1）修改hadoop配置檔案yarn-site.xml,新增如下內容：

[root@hadoop102 hadoop]$ vi yarn-site.xml


yarn.nodemanager.pmem-check-enabled


false


yarn.nodemanager.vmem-check-enabled


false
2）修改spark-env.sh，新增如下配置：

[root@hadoop102 conf]$ vi spark-env.sh


yarn_conf_dir=/opt/module/hadoop-2.7.2/etc/hadoop
3）分發配置檔案

[root@hadoop102 conf]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml


[root@hadoop102 conf]$ xsync spark-env.sh
4）執行乙個程式

[root@hadoop102 spark]$ bin/spark-submit \


--class org.apache.spark.examples.sparkpi \


--master yarn \


--deploy-mode client \


./examples/jars/spark-examples_2.11-2.1.1.jar \


100注意：在提交任務之前需啟動hdfs以及yarn集群。
1）修改配置檔案spark-defaults.conf

新增如下內容：


spark.yarn.historyserver.address=hadoop102:18080


spark.history.ui.port=18080
2）重啟spark歷史服務

[root@hadoop102 spark]$ sbin/stop-history-server.sh


stopping org.apache.spark.deploy.history.historyserver


[root@hadoop102 spark]$ sbin/start-history-server.sh


starting org.apache.spark.deploy.history.historyserver, 


logging to /opt/module/spark/logs/spark-atguigu-org.apache.spark.deploy.history.historyserver-1-hadoop102.out
3）提交任務到yarn執行

[root@hadoop102 spark]$ bin/spark-submit \


--class org.apache.spark.examples.sparkpi \


--master yarn \


--deploy-mode client \


./examples/jars/spark-examples_2.11-2.1.1.jar \


100
4）web頁面檢視日誌

Spark Yarn 提交作業

初學spark時，部署的是standalone模式 整合了ha 寫的測試程式一般建立上下文時如下 此處master設定為管理節點的集群位址 spark webui上顯示的位址 之後將測試 打包成jar包，上傳到伺服器，使用spark submit提交作業。提交命令 spark submit mast...

spark yarn提交任務

yarn cluster命令 配置spark執行在yarn上 進入conf目錄下,然後編輯spark env.s 件 hadoop conf dir hadoop home etc hadoop 提交命令.spark submit master yarn class org.apache.spark...

spark yarn檢視集群資源

containers running 啟動的容器個數 每個容器預設乙個cpu 即，啟動4個cpu預設就提供4個容器 vcores used 使用了多少個cpu 6 vcores total 總共有多少個cpu 120 active nodes 集群總共有多少個節點 5 allocated memor...