找到spark-submit檔案的目錄
目錄/spark-submit --master spark: --executor-memory 2g --total-executor-cores 10 --driver-memory 4g --class com.test.main.test test.jar--master spark集群主節點的位址
--executor-memory 每個executor程序的記憶體
--total-executor-cores 所有的executor使用的總cpu核數
--driver-memory 設定driver程序的記憶體
--class 要執行的main函式類 類所在的jar包
登入192.168.172.10:18080監控介面檢視程式是否執行
後台執行spark submit命令的方法
在使用spark submit執行工程jar包時常常會出現一下兩個問題 1.在程式中手打的log 如system.out.println testrdd.count testrdd.count 常常會因被下乙個job的執行日誌覆蓋掉而無法檢視日誌 2.一旦命令視窗被關閉或者電腦因斷電等原因異常關閉，...
spark submit 執行jar包報錯的處理
解決辦法 開啟master檔案 vim sbin start master.sh 在vim命令模式下輸入 8080 if spark master webui port then spark master webui port 8080 fi 找到後修改該埠為8001 命令模式下儲存退出 重啟一遍 ...
spark submit常用引數
yarn模式預設啟動2個executor，無論你有多少的worker節點 standalone模式每個worker乙個executor，無法修改executor的數量 partition是rdd中的乙個dataset，一般預設都是2個 executor中的task數量由partition數 最後乙個...