背景：為滿足需求，我們需要公升級spark到2.2.1,並且hadoop版本要是cdh版本
spark原始碼版本：2.2.1
cdh版本：5.11.0
參考：
2、 解壓，並修改pom檔案支援要求
修改hadoop版本：
2.6.0-cdh5.11.0
hadoop-2.6
2.6.0-cdh5.11.0
0.9.3
3.4.5
2.6.0
新增cloudera**倉庫：
cloudera
備註：需要什麼版本修改什麼版本
3、 選擇scala版本(非必選)
./dev/change-scala-version.sh 2.10
4、 編譯原始碼
mvn -pyarn -phadoop-2.6 -phive-phive-thriftserver -dhadoop.version=2.6.0-cdh5.11.0 -dskiptests clean package> ../1.log 2>&1 &
成功如下：
5、 使用spark指定便已部署命令生成release版本
./dev/make-distribution.sh --name custom-spark --tgz-phadoop-2.6 -phive -phive-thriftserver -dhadoop.version=2.6.0-cdh5.11.0 -pyarn > ../3.log 2>&1 &
備註：make-distribution引數：
-tgz:制定生成元件包格式
-phive –pyarn格式引數制定要求打包的模組，按需選擇
成功：
如圖最後生成制定tar包（這一步會很慢，要有耐心，並且我本機一執行就卡死，直到拿到伺服器才算ok）
6、 測試
我們把生成的tar包拿到乙個集群環境上進行測試，首先我們做一些前置工作，簡單修改下配置：
如圖，新建兩個配置檔案（spark-env.sh,spark-defaults.conf）：
修改配置檔案：
spark-env.sh新增如下hadoop-conf-dir環境變數：
spark-defaults.conf新增如下配置：
最後spark-shell測試：
Spark 0 Spark版本及編譯
學習用2.4.2 大版本 apis change 次版本 apis features 小版本 核心的東西沒有變，只是修復了一些bug 所以小版本要選大的 小版本如果是0，最好不要選，沒有被修復過，bug多 由於hadoop 2.6.0 cdh5.7.0和官網的hadoop2.6.0不一樣。並且，sp...
CentOS 公升級至指定版本
centos系統下用yum upgrade命令只能公升級到最新版本，centos倉庫並不維護歷史版本，所以只能使用 vault.centos.org 歷史版本快照進行更新。本文以將7.0.1406公升級到7.2.1511為例。1 備份舊的版本倉庫檔案 mkdir p etc yum.repos.d ...
skia指定版本編譯
首先準備vpn 2.把depot tools目錄新增的系統環境變數裡面，重啟電腦 3.新建乙個目錄，存放skia檔案 4.執行cmd 5.執行 gclient config https 6.執行gclient syn revision chrome m44 備註，這裡是拉chrome m44這個版本...