無論是在哪兒提交spark**，每提交乙個
spark
任務，都會開啟乙個
driver
，我們都有兩種模式：
client（客戶端模式）：**在哪台機器上提交的，那台機器就會開啟
driver
執行緒。
cluster（集群模式）：
spark
集群會在
worker
集群裡面隨機找一台機器，然後那一台就會開啟乙個
driver
執行緒。client模式的好處：
除錯程式的時候，我們一般都是會用client，如果你用
client
模式提交。列印出來的日誌非常詳細。
client模式的壞處：
提交**的這台伺服器壓力太大，壓力太大了以後容易出問題。
cluster模式的好處：把壓力分散了
cluster模式的壞處：列印出來的日誌不詳細
建議：我們除錯程式的時候使用client模式，然我們開發完了以後，就使用
cluster
模式去提交。
spark執行模式
spark的執行模式多種多樣，靈活多變，部署在單機上時，既可以用本地模式執行，也可以用偽分布式模式執行 而當以分布式集群的方式部署時，底層的資源排程既可以依賴於外部的資源排程框架，也可以使用spark內建的standalone模式。對於外部資源排程框架的支援，目前主要包括mesos模式和hadoop...
spark執行模式
local 單機，所有jobs都在這台機器上執行。standalone 就是說多台機器組成乙個集群，然後jobs可以分在多台機器上執行 yarn 就是說spark程式執行在yarn上 client 就是jobs在不同機器執行，然後結果返回到這台機器上。cluster 就是說jobs在不同機器上執行，...
Spark執行模式
2018 04 07 自己知道的spark執行的四種模式，以乙個計算hdfs中某檔案 20g大小 的行數為例，這個檔案的塊集中在node3上。我的spark集群work是node1 3，master是node1。具體的執行命令，可以看前一篇。local 執行於本地，也是預設的情況。執行時間最少。初步...