spark客戶端直接連線yarn,不需要額外構建spark集群。有yarn-client和yarn-cluster兩種模式,主要區別在於:driver程式的執行節點。
1)修改hadoop配置檔案yarn-site.xml,新增如下內容:
[root@hadoop102 hadoop]$ vi yarn-site.xml
yarn.nodemanager.pmem-check-enabled
false
yarn.nodemanager.vmem-check-enabled
false
2)修改spark-env.sh,新增如下配置:
[root@hadoop102 conf]$ vi spark-env.sh
yarn_conf_dir=/opt/module/hadoop-2.7.2/etc/hadoop
3)分發配置檔案
[root@hadoop102 conf]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
[root@hadoop102 conf]$ xsync spark-env.sh
4)執行乙個程式
[root@hadoop102 spark]$ bin/spark-submit \
--class org.apache.spark.examples.sparkpi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100注意:在提交任務之前需啟動hdfs以及yarn集群。
1)修改配置檔案spark-defaults.conf
新增如下內容:
spark.yarn.historyserver.address=hadoop102:18080
spark.history.ui.port=18080
2)重啟spark歷史服務
[root@hadoop102 spark]$ sbin/stop-history-server.sh
stopping org.apache.spark.deploy.history.historyserver
[root@hadoop102 spark]$ sbin/start-history-server.sh
starting org.apache.spark.deploy.history.historyserver,
logging to /opt/module/spark/logs/spark-atguigu-org.apache.spark.deploy.history.historyserver-1-hadoop102.out
3)提交任務到yarn執行
[root@hadoop102 spark]$ bin/spark-submit \
--class org.apache.spark.examples.sparkpi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100
4)web頁面檢視日誌
Spark Yarn 提交作業
初學spark時,部署的是standalone模式 整合了ha 寫的測試程式一般建立上下文時如下 此處master設定為管理節點的集群位址 spark webui上顯示的位址 之後將測試 打包成jar包,上傳到伺服器,使用spark submit提交作業。提交命令 spark submit mast...
spark yarn提交任務
yarn cluster命令 配置spark執行在yarn上 進入conf目錄下,然後編輯spark env.s 件 hadoop conf dir hadoop home etc hadoop 提交命令.spark submit master yarn class org.apache.spark...
spark yarn檢視集群資源
containers running 啟動的容器個數 每個容器預設乙個cpu 即,啟動4個cpu預設就提供4個容器 vcores used 使用了多少個cpu 6 vcores total 總共有多少個cpu 120 active nodes 集群總共有多少個節點 5 allocated memor...