spark的jar包沒必要把所有相關的依賴都打進乙個jar包中，因為這樣會把spark、hadoop本身相關的jar包也打進去，但是這些依賴在用spark-submit命令執行時，會自動載入部署環境中已有的。
/opt/cloudera/parcels/cdh/bin/spark-submit \
--class "cn.icarevision.its007.upgrade.esindexupgrade" \
--jars ~/its007/its007-upgrade/lib/dependency/*.jar \
~/its007/its007-upgrade/lib/hello-es-hadoop_2.10-1.0.jar
其中--jars是是所有依賴的jar包，這裡我把所有依賴的jar包放到了dependency這個目錄。
Spark任務提交jar包依賴解決方案
通常我們將spark任務編寫後打包成jar包，使用spark submit進行提交，因為spark是分布式任務，如果執行機器上沒有對應的依賴jar檔案就會報classnotfound的錯誤。下面有三個解決方法 根據spark官網，在提交任務的時候指定 jars，用逗號分開。這樣做的缺點是每次都要指定...
spark 提交jar包優化
在測試中，使用livy去執行spark程式，採用 片段的方式。但是應用在啟動的時候，會把本地的jar檔案上傳到hdfs，然後再從hdfs分發到其它的運算節點，這個很影響效能。可以在spark的配置檔案spark defaults.conf配置如下內容 第二個引數，主要是刪除應用jar的快取，防止應用...
Spark任務執行原理
首先，先看一幅圖 以上圖中有四個機器節點，driver 和 worker 是啟動在伺服器節點上的程序，這些程序都執行在 jvm 中。上述圖的執行步驟 driver 與集群節點之間有頻繁的通訊。driver 負責任務 tasks 的分發和結果的 任務的排程。如果 task的計算結果非常大就不要 了，會...