實用 Spark Yarn模式

2021-09-29 16:21:11 字數 1889 閱讀 4992

spark客戶端直接連線yarn,不需要額外構建spark集群。有yarn-client和yarn-cluster兩種模式,主要區別在於:driver程式的執行節點。

1)修改hadoop配置檔案yarn-site.xml,新增如下內容:

[root@hadoop102 hadoop]$ vi yarn-site.xml

yarn.nodemanager.pmem-check-enabled

false

yarn.nodemanager.vmem-check-enabled

false

2)修改spark-env.sh,新增如下配置:

[root@hadoop102 conf]$ vi spark-env.sh

yarn_conf_dir=/opt/module/hadoop-2.7.2/etc/hadoop

3)分發配置檔案

[root@hadoop102 conf]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

[root@hadoop102 conf]$ xsync spark-env.sh

4)執行乙個程式

[root@hadoop102 spark]$ bin/spark-submit \

--class org.apache.spark.examples.sparkpi \

--master yarn \

--deploy-mode client \

./examples/jars/spark-examples_2.11-2.1.1.jar \

100注意:在提交任務之前需啟動hdfs以及yarn集群。

1)修改配置檔案spark-defaults.conf

新增如下內容:

spark.yarn.historyserver.address=hadoop102:18080

spark.history.ui.port=18080

2)重啟spark歷史服務

[root@hadoop102 spark]$ sbin/stop-history-server.sh

stopping org.apache.spark.deploy.history.historyserver

[root@hadoop102 spark]$ sbin/start-history-server.sh

starting org.apache.spark.deploy.history.historyserver,

logging to /opt/module/spark/logs/spark-atguigu-org.apache.spark.deploy.history.historyserver-1-hadoop102.out

3)提交任務到yarn執行

[root@hadoop102 spark]$ bin/spark-submit \

--class org.apache.spark.examples.sparkpi \

--master yarn \

--deploy-mode client \

./examples/jars/spark-examples_2.11-2.1.1.jar \

100

4)web頁面檢視日誌

Spark Yarn 提交作業

初學spark時,部署的是standalone模式 整合了ha 寫的測試程式一般建立上下文時如下 此處master設定為管理節點的集群位址 spark webui上顯示的位址 之後將測試 打包成jar包,上傳到伺服器,使用spark submit提交作業。提交命令 spark submit mast...

spark yarn提交任務

yarn cluster命令 配置spark執行在yarn上 進入conf目錄下,然後編輯spark env.s 件 hadoop conf dir hadoop home etc hadoop 提交命令.spark submit master yarn class org.apache.spark...

spark yarn檢視集群資源

containers running 啟動的容器個數 每個容器預設乙個cpu 即,啟動4個cpu預設就提供4個容器 vcores used 使用了多少個cpu 6 vcores total 總共有多少個cpu 120 active nodes 集群總共有多少個節點 5 allocated memor...