1.關於mapreduce on yarn 來提交job的流程
yarn=resourcemanager（rm）+nodemanager（nm）
client向rm提交任務
2.配置
將hadoop的配置檔案新增到spark的classpath中，即配置spark-env.sh中的hadoop_conf_dir配置資訊
在前面local或者standalone已經配置過。
3.啟動hdfs，yarn
4.啟動spark命令(後來經過驗證，發現不需要也可以計算出結果)
在標題上說明不需要啟動spark服務，這這裡說一下原因：
因為程式在yarn框架上執行，所以需要的服務是yarn，至於spark服務，程式跑在yarn上用不到。
所以這裡的截圖被刪除。
經過驗證，想法完全正確。
5.測試client
6.測試cluster
這時候，程式結果不會顯示在控制台上，因為driver執行在集群上。
7.結果
Spark的執行模式
無論是在哪兒提交spark 每提交乙個 spark 任務，都會開啟乙個 driver 我們都有兩種模式 client 客戶端模式 在哪台機器上提交的，那台機器就會開啟 driver 執行緒。cluster 集群模式 spark 集群會在 worker 集群裡面隨機找一台機器，然後那一台就會開啟乙個 ...
spark執行模式
spark的執行模式多種多樣，靈活多變，部署在單機上時，既可以用本地模式執行，也可以用偽分布式模式執行 而當以分布式集群的方式部署時，底層的資源排程既可以依賴於外部的資源排程框架，也可以使用spark內建的standalone模式。對於外部資源排程框架的支援，目前主要包括mesos模式和hadoop...
spark執行模式
local 單機，所有jobs都在這台機器上執行。standalone 就是說多台機器組成乙個集群，然後jobs可以分在多台機器上執行 yarn 就是說spark程式執行在yarn上 client 就是jobs在不同機器執行，然後結果返回到這台機器上。cluster 就是說jobs在不同機器上執行，...