用pigz代替gzip 並行壓縮軟體

2021-09-06 15:37:49 字數 2418 閱讀 1209

by yejr on 03 十二月 2012

pig是個啥東東?

官網:一句話簡介:

a parallel implementation of gzip for modernmulti-processor, multi-core machines。
簡單的說,就是支援並行的gzip。廢話不多說,開始測試。

pig預設用當前邏輯cpu個數來併發壓縮,無法檢測個數的話,則併發8個執行緒。

一、測試壓縮包檔案1

壓縮前-rw-r--r-- 1 root root 2474772480 dec 3 19:54 dbs.tar

1、gzip測試

壓縮耗時,cpu最高:101.6%

real 2m18.042s

user 2m10.204s

sys 0m6.876s

解壓縮耗時,cpu最高:101.6%

real 0m26.756s

user 0m20.175s

sys 0m6.580s

壓縮後-rw-r--r-- 1 root root 2349563863 dec 3 19:54 dbs.tar.gz

2、pigz測試

併發8執行緒(預設):

壓縮耗時,cpu最高:832%

real 0m21.710s

user 2m31.229s

sys 0m9.101s

解壓縮耗時,cpu最高:199%

real 0m13.239s

user 0m11.791s

sys 0m12.426s

併發4執行緒:

壓縮耗時,cpu最高:427.6%

real 0m38.299s

user 2m30.701s

sys 0m8.369s

解壓縮耗時,cpu最高:202%

real 0m13.294s

user 0m12.154s

sys 0m11.862s

壓縮後-rw-r--r-- 1 root root 2350161547 dec 3 19:54 dbs.tar.gz

二、測試壓縮包檔案2

壓縮前-rw-r--r-- 1 root root 5248890880 dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar

1、gzip測試

壓縮耗時,cpu最高:101%

real 6m20.524s

user 6m2.466s

sys 0m7.410s

解壓縮耗時,cpu最高: 101%

real 0m58.893s

user 0m46.258s

sys 0m11.944s

壓縮後-rw-r--r-- 1 root root 1410045513 dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz

2、pigz測試

併發8執行緒(預設):

壓縮耗時,cpu最高: 799%

real 1m11.908s

user 6m36.717s

sys 0m9.860s

解壓縮耗時,cpu最高:179%

real 0m33.188s

user 0m38.069s

sys 0m16.728s

併發4執行緒:

壓縮耗時,cpu最高: 418%

real 1m41.547s

user 6m36.782s

sys 0m9.806s

解壓縮耗時,cpu最高: 179%

real 0m33.120s

user 0m37.500s

sys 0m16.956s

壓縮後-rw-r--r-- 1 root root 1406061442 dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz

結論:

1、pigz預設用法(預設併發執行緒是邏輯cpu個數)可比gzip快5.3倍,cpu消耗則是gzip的8倍,壓縮比則相當;

2、併發8執行緒對比4執行緒提公升:41.2%,16執行緒對比8執行緒提公升:27.9%,32執行緒對比16執行緒提公升:3%;

3、在對壓縮效率要求較高、但對短時間內cpu消耗較高不受影響的場景,使用pigz非常合適。

**:經個人測試,gzip和pigz命令可以互通,即用gzip壓縮的檔案可以用pigz來解壓,pigz壓縮的檔案也可以用gzip來解壓·~~~~放心使用,哈哈····

用迴圈代替游標

在sql的sp開發中,游標有不可或缺的作用。但是,一些不當的使用游標,會造成嚴重系統效能的下降,所有呢,很多的人就想找乙個方法,即能達到游標的功能,又對效能影響小一些。這就是本文要講的用迴圈代替游標。一般情況下,用光標的目的就是要達到乙個迴圈,可是我們要是以迴圈來作呢,如何來控制當前的變數值就是關鍵...

文字超出用 代替

文字超出用 代替分兩種情況,一種是文字不換行,只在一行顯示,另一種是文字可以換行,但是最多顯示2行或3行 white spcae nowrap 強制讓文字不能換行 overflow hidden text overflow ellipsis overflow hidden text overflow...

用GZip壓縮和解壓

net支援兩種壓縮格式 gzip和deflate。我試了一下,壓縮率和速度沒區別。其中,gzip可以被winrar開啟。使用起來很簡單,下面的程式將字串壓縮入檔案 using deflatestream gzip new deflatestream fs,compressionmode.compre...