spark 2 0 0提交jar任務的幾種方式

2021-07-25 12:06:43 字數 594 閱讀 8859

對應引數改為適合自己的模式即可

//(集群模式)限制資源,後台執行

spark-submit --class test.streamings --master spark: --deploy-mode cluster --executor-memory 500m --total-executor-cores 5 sparkdemo-0.0.1-snapshot.jar

//(集群模式)控制台輸出(不限制資源),ctrl+c結束,可用於除錯

spark-submit --class test.streamings --master spark: sparkdemo-0.0.1-snapshot.jar

//(集群模式)控制台無輸出(不限制資源),後台執行

spark-submit --class test.streamings --master spark: --deploy-mode cluster sparkdemo-0.0.1-snapshot.jar

//(單點模式)控制台輸出日誌,ctrl+c結束,可用於除錯

spark-submit --class test.streamings sparkdemo-0.0.1-snapshot.jar

Spark任務提交jar包依賴解決方案

通常我們將spark任務編寫後打包成jar包,使用spark submit進行提交,因為spark是分布式任務,如果執行機器上沒有對應的依賴jar檔案就會報classnotfound的錯誤。下面有三個解決方法 根據spark官網,在提交任務的時候指定 jars,用逗號分開。這樣做的缺點是每次都要指定...

spark 提交jar包優化

在測試中,使用livy去執行spark程式,採用 片段的方式。但是應用在啟動的時候,會把本地的jar檔案上傳到hdfs,然後再從hdfs分發到其它的運算節點,這個很影響效能。可以在spark的配置檔案spark defaults.conf配置如下內容 第二個引數,主要是刪除應用jar的快取,防止應用...

spark任務執行及jar包

spark的jar包沒必要把所有相關的依賴都打進乙個jar包中,因為這樣會把spark hadoop本身相關的jar包也打進去,但是這些依賴在用spark submit命令執行時,會自動載入部署環境中已有的。opt cloudera parcels cdh bin spark submit clas...