spark yarn提交任務

yarn-cluster命令

配置spark執行在yarn上

進入conf目錄下,然後編輯spark-env.s**件

hadoop_conf_dir=$hadoop_home/etc/hadoop

./spark-submit

--master yarn
--class
org.apache.spark.examples.sparkpi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100

./spark-submit

--master yarn–client
--class
org.apache.spark.examples.sparkpi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100

① 客戶端在本機上提交應用程式,並且在本機上啟動driver程序

⑥nm啟動excutor

問題會出現網絡卡激增問題

2.給nodemanager傳送訊息啟動executor

提交命令

./spark-submit

--master yarn
--deploy-mode cluster
--class
org.apache.spark.examples.sparkpi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100

./spark-submit

--master yarn-cluster
--class
org.apache.spark.examples.sparkpi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100

⑥傳送task並返回結果

1.申請資源

2.啟動executor

3.任務排程

4.**結果

5.監控任務

Spark Yarn 提交作業

初學spark時，部署的是standalone模式 整合了ha 寫的測試程式一般建立上下文時如下 此處master設定為管理節點的集群位址 spark webui上顯示的位址 之後將測試 打包成jar包，上傳到伺服器，使用spark submit提交作業。提交命令 spark submit mast...

實用 Spark Yarn模式

spark客戶端直接連線yarn，不需要額外構建spark集群。有yarn client和yarn cluster兩種模式，主要區別在於 driver程式的執行節點。1 修改hadoop配置檔案yarn site.xml,新增如下內容 root hadoop102 hadoop vi yarn si...

spark yarn檢視集群資源

containers running 啟動的容器個數 每個容器預設乙個cpu 即，啟動4個cpu預設就提供4個容器 vcores used 使用了多少個cpu 6 vcores total 總共有多少個cpu 120 active nodes 集群總共有多少個節點 5 allocated memor...