最近在使用spark sql 執行hive語句時碰到異常資訊如下：
開始以為時hive環境有問題，把sql語句拿到hive環境單獨跑沒有問題，排除掉這項。若有問題，參考解決方案。使用spark-submit --jar 提交掉時候已經引入了json-serde-1.3-jar-with-dependencies.jar包，class.forname("org.openx.data.jsonserde.jsonserde")也能找到。
但是執行sql掉時候還是報classnotfound exception。想到hive 提交udf依賴報時使用了add jar命令，於是在spark sql中執行命令：
解決問題。
總結：spark sql 缺少依賴包時，使用命令 「add jar *.jar」來新增。
MR新增第三方依賴和檔案
寫mr程式往往需要依賴第三方依賴庫，或者需要讀取自己的配置檔案，本文就的目的就是為了用靠譜的方法解決這兩個問題！在 driver 端新增依賴 export hadoop classpath thirdpartlib 1.jar,thirdpartlib 2.jar 在 task 端新增依賴 或配置檔...
centos新增第三方源
centos本身yum的軟體源裡缺少了很多軟體，可以自行新增第三方源 linux環境 centos 7 執行下述命令前，你可以先到 etc yum.repos.d 目錄下ls一下，看看它們長得是啥樣子。2 安裝rpmfusion的repository 下面兩個rpm包都要安裝 root localh...
Ubuntu apt 新增第三方庫
1.方法一 直接在 etc apt sources.list 新增第三方庫。sudo vi etc apt sources.list 在其中新增 deb precise main 2.方法二 對於第三方庫，最好不要使用 etc apt sources.list，使用 etc apt sources....