standalone模式每個worker乙個executor，無法修改executor的數量
partition是rdd中的乙個dataset，一般預設都是2個
executor中的task數量由partition數(最後乙個stage的partition數)決定
options:
--master master_url 選擇執行模式，spark://host:port, mesos://host:port, yarn, or local.
--deploy-mode deploy_mode 將driver執行在本地(client)或其他worker節點上(cluster) (default: client).
--class class_name 程式主類名
--name name 應用名
--jars jars driver和executor都需要的包，多個包之間用逗號(,)分割
--properties-file file 讀取的環境變數檔案位置，預設讀取的位置為conf/spark-defaults.conf
--driver-memory mem driver使用的記憶體(e.g. 1000m, 2g) (default: 512m).
--driver-class-path driver所依賴的包，多個包之間用冒號(:)分割
--executor-memory mem 每個executor使用的記憶體 (e.g. 1000m, 2g) (default: 1g).
spark standalone with cluster deploy mode only:
--driver-cores num diver使用的 核心數(default: 1).
--supervise 重啟失敗的driver
--kill submission_id 刪掉指定的driver
--status submission_id 返回指定的driver狀態
spark standalone and mesos only:
--total-executor-cores num 所有executors使用的核心總數
yarn-only:
--driver-cores num diver使用的 核心數(只用於cluster),(default: 1)
--executor-cores num 每個executor使用的核心數 (default: 1).
--queue queue_name 提交到yarn上的佇列名 (default: "default").
--num-executors num 啟動的executor的數量 (default: 2).
spark submit 引數設定
在使用spark時，根據集群資源情況和任務資料量等，合理設定引數，包括但不限於以下 引數說明 master yarn e mapreduce 使用 yarn 的模式 yarn client 等同於 master yarn deploy mode client，此時不需要指定deploy mode。y...
spark submit主要引數介紹
yarn master 值為yarn deploy mode 部署模式,執行driver程序在客戶端還是集群上，預設為客戶端 client 可以指定為cluster class 執行程式的類的全限定名 name 執行程式的名稱 jars 執行程式的jar包,一般放在hdfs上面 conf 執行程式需...
spark submit指令碼引數的設定
driver memory 2g executor memory 4g executor cores 1 num executors 60一共60個executor，每個executor,1個cores,4個g的memory，共使用資源 240g的memory,60個core driver memo...