寫了乙個簡單的wordcount程式，本地可以執行的。打包提交到集群上就報錯
exception in thread "main" org.apache.hadoop.mapred.filealreadyexist***ception: output directory hdfs://hadoop1:9000/usr/hadoop/input/input.txt already exists
程式需要兩個引數，輸入和輸出路徑。報錯說的是這個檔案已存在，可是他報錯的路徑明明是我的輸入路徑啊。
仔細檢查了**，甚至重寫了。本地還是可以執行，提交就是不對。仔細核對了引數還是沒問題。
最後無賴的上傳了乙個沒有依賴的jar包，沒想到問題就解決了。之前上傳的是有依賴的jar包。
雖然問題解決了，但還是想不通。。。。。。難道兩份一樣的包會產生衝突？？？
Spark任務提交jar包依賴解決方案
通常我們將spark任務編寫後打包成jar包，使用spark submit進行提交，因為spark是分布式任務，如果執行機器上沒有對應的依賴jar檔案就會報classnotfound的錯誤。下面有三個解決方法 根據spark官網，在提交任務的時候指定 jars，用逗號分開。這樣做的缺點是每次都要指定...
Flink動態新增依賴Jar包提交到Yarn
開發的flink程式，要使用yarn cluster的方式進行部署。程式中依賴了很多第三方jar包，不想用shade那種打包方式打成乙個大jar包，然後提交。想將應用程式jar包和依賴jar包分開，依賴的jar包在提交時一起提交上去 像spark on yarn直接指定 jars 這樣 但是找了好久...
JSONObject物件依賴的jar包
在web專案中經常會用到json資料 如 struts2處理請求返回json資料給jsp解析 因此，jsonobject物件是必備的，這時就需要引入相關的jar包了。json所需要的jar包如下 json lib 2.3 jdk15.jar json所依賴的jar如下 commons beanuti...