spark的執行模式多種多樣，靈活多變，部署在單機上時，既可以用本地模式執行，也可以用偽分布式模式執行；而當以分布式集群的方式部署時，底層的資源排程既可以依賴於外部的資源排程框架，也可以使用spark內建的standalone模式。對於外部資源排程框架的支援，目前主要包括mesos模式和hadoop yarn模式。
接下來，將對分布式集群部署的模式進行講解。
standalone模式
standalone模式是spark自帶的資源排程框架，其主要的節點有client節點、master節點和worker節點。其中driver既可以執行在master節點上中，也可以執行在本地client端。當用spark-shell互動式工具提交spark的job時，driver在master節點上執行；當使用spark-submit工具提交job或者在eclips、idea等開發平台上使用」new sparkconf.setmaster(「spark://master:7077」)」方式執行spark任務時，driver是執行在本地client端上的。
其執行過程如上圖所示：
6.所有task完成後，sparkcontext向master登出，釋放資源。
spark on yarn模式
spark作為一種分布式計算框架，可以部署在yarn上，通過yarn對spark的資源進行管理。spark on yarn根據client在集群中的位置，被分為yarn client和yarn cluster兩種模式。
yarn client模式
6應用程式執行完成後，client的sparkcontext向resourcemanager申請登出並關閉自己
yarn cluster模式
spark執行模式
local 單機，所有jobs都在這台機器上執行。standalone 就是說多台機器組成乙個集群，然後jobs可以分在多台機器上執行 yarn 就是說spark程式執行在yarn上 client 就是jobs在不同機器執行，然後結果返回到這台機器上。cluster 就是說jobs在不同機器上執行，...
Spark執行模式
2018 04 07 自己知道的spark執行的四種模式，以乙個計算hdfs中某檔案 20g大小 的行數為例，這個檔案的塊集中在node3上。我的spark集群work是node1 3，master是node1。具體的執行命令，可以看前一篇。local 執行於本地，也是預設的情況。執行時間最少。初步...
yarn模式執行spark
yarn上啟動spark有二種模式 yarn client模式 和 yarn cluster模式 yarn cluster模式 框架在集群中啟動driver程式 yarn client模式 框架在client中啟動driver程式 master 引數可以簡單配置成yarn client 或者 yar...