1、檢查模組是否已經安裝：
#彈出此種結果，則為 dso 方式安裝的
deflate_module (static)#彈出此種結果，則為編譯安裝時裝的
安裝了的話，就可以直接迚行壓縮配置了，如果沒有安裝，下面為安裝方法
2、安裝deflate模組
a）編譯時安裝方法
編譯的時候跟上--enable-deflate 即可實現安裝
b）dso 方式安裝。
擴充套件：dso： dynamic shared object 勱態共享物件 。dso 模組可以在編譯伺服器之後編譯，也可以
用 apache 擴充套件工具(apxs)編譯並增加
使用 dso 方式安裝，/usr/local/httpd/bin/apxs 後跟的引數詳解
-c 此選項表明需要執行編譯操作。它首先會編譯 c 源程式（.c）files 為對應的目標**檔案（.c），然
後連線這些目標**和 files 中其餘的目標**檔案（.c 和.a），以生成勱態共享物件 dsofile。如果沒有
指定-s 選項，則此輸出檔名由 files 中的第乙個檔名推測得出，也就是預設 mod_name.so。
-i 此選項表示需要執行安裝操作，以安裝乙個戒多個勱態共享物件到伺服器的 modules 目錄。
-a 此選項自勱增加乙個 loadmodule 行到 httpd.conf 檔案中，以啟用此模組，或者，如果此行已經
存在，則啟用之。
/usr/local/src/httpd/modules/filters/mod_deflate.c 為原始碼包路徑
安裝完後檢視：
注意，此時檢測配置檔案，會報錯：[root@wyq63 ~]# httpd -t
解決方法：
在loadmodule deflate_module modules/mod_deflate.so這一行上面新增
loadfile /usr/lib64/libz.so即可
3、配置deflate模組
#配置檔案最下面新增如下內容
deflatecompressionlevel 9
#壓縮等級，越大效率越高，消耗 cpu 也越高。一般壓縮等級使用 6 或 8
setoutputfilter deflate
#啟用壓縮
deflatefilternote input instream
#宣告輸入流的 byte 數量
deflatefilternote output outstream
#宣告輸出流的 byte 數量
deflatefilternote ratio ratio
#宣告壓縮的百分比
#僅壓縮，限制特定的 mime 型別檔案
4、測試使用谷歌的yslow外掛程式
spark調優 shuffle調優
基於spark1.6 引數可以通過 new sparkcontext set 來設定，也可以通過命令的引數設定 conf spark.shuffle.file.buffer 預設值 32k 引數說明 該引數用於設定shuffle write task的bufferedoutputstream的buf...
Spark Spark調優 資源調優
spark在乙個executor的記憶體分為三塊，1.一塊是execution記憶體 2.一塊是storge 記憶體 3.一塊是其他記憶體 執行記憶體是執行記憶體，加入，聚合都是在這部分記憶體中執行.shuffle的資料也會先快取在這個記憶體中，滿了再寫入磁碟，能減少io，其實地圖過程也是在這個記憶...
spark調優 shuffle調優
每乙個shuffle的前半部分stage的task，每個task都會建立下乙個stage的task數量相同的檔案，比如下乙個stage會有100個task,那麼當前stage每個task都會建立100份檔案，會將同乙個key對應的values,一定是寫入同乙個檔案中的，也一定會將同乙個key對應的v...