1、基於spark核心架構也就是standalone提交，基於自己的master-worker集群。driver在本地啟動，
2、基於yarn的yarn-cluster模式，要先分配container，然後在yarn**的乙個nodemanager上啟動driver。
3、基於yarn的yarn-client模式，就是本地提交。
如果，你要切換到第二種和第三種模式，很簡單，將我們之前用於提交spark應用程式的spark-submit指令碼，加上--master引數，設定為yarn-cluster，或yarn-client，即可。如果你沒設定，那麼，就是standalone模式。
提交指令碼如下
/usr/local/spark/bin/spark-submit \
--class cn.spark.study.core.wordcountcluster \
--num-executors 3 \
--driver-memory 100m \
--executor-memory 100m \
--executor-cores 3 \
--master yarn-cluster/yarn-client
Spring原始碼解析 核心類介紹
spring用了這麼久，雖然spring的兩大核心 ioc和aop一直在用，但是始終沒有搞懂spring內部是怎麼去實現的，於是決定擼一把spring原始碼，前前後後也看了有兩邊，很多東西看了就忘記，於是便決定開個記錄 轉博，幫助自己記憶，同時也分享給大家。file file new file fi...
spark原始碼解析之一 整體概述
任務提交後，指令碼會啟動使用者程式 初始化sparkcontext完成，使用者程式暫停執行，啟動driver程式 driver向集群管理器註冊應用程式 集群管理器根據此任務的配置檔案分配executor並啟動 driver獲取所需資源的同時，driver繼續執行使用者main函式，spark查詢為懶...
08 TreeMap 核心原始碼解析（集合）
在了解 treemap 之前，我們來看看日常工作中排序的兩種方式，作為我們學習的基礎儲備，兩種方式的 如下 data class entry implements comparable override public intcompareto entry o test public void exe...