使用idea建立sbt專案，建立過程詳見url：
在專案根目錄下，開啟終端，輸入sbt命令，會出現「>」符號，繼續輸入package命令打包完成
使用spark-submit命令提交到spark中
本地提交命令：spark-submit --master(兩條橫線) local --class(兩條橫線) hello(主類名) jar包所在路徑
集群提交命令：spark-submit --master(兩條橫線) yarn-client --class(兩條橫線) hello(主類名) jar包所在路徑
Flink動態新增依賴Jar包提交到Yarn
開發的flink程式，要使用yarn cluster的方式進行部署。程式中依賴了很多第三方jar包，不想用shade那種打包方式打成乙個大jar包，然後提交。想將應用程式jar包和依賴jar包分開，依賴的jar包在提交時一起提交上去 像spark on yarn直接指定 jars 這樣 但是找了好久...
關於jar命令打包可執行jar包的說明
乙個簡單的打包jar為可執行jar的任務弄了半天，分析原因 第一，基礎不牢固 第二，看東西馬虎 第三，網上教程太爛，魚龍混雜，有空還是買書吧。不過沒有心情看啊 jar打包可執行檔案 命令 jar cvfm main.jar main.txt 解釋 jar 打包命令，後面都是引數 cvfm jar命令...
hadoop提交有依賴的jar包出錯
寫了乙個簡單的wordcount程式，本地可以執行的。打包提交到集群上就報錯 exception in thread main org.apache.hadoop.mapred.filealreadyexist ception output directory hdfs hadoop1 9000 u...