by yejr on 03 十二月 2012
pig是個啥東東?
官網:一句話簡介:
a parallel implementation of gzip for modernmulti-processor, multi-core machines。
簡單的說,就是支援並行的gzip。廢話不多說,開始測試。
pig預設用當前邏輯cpu個數來併發壓縮,無法檢測個數的話,則併發8個執行緒。
一、測試壓縮包檔案1
壓縮前-rw-r--r-- 1 root root 2474772480 dec 3 19:54 dbs.tar
1、gzip測試
壓縮耗時,cpu最高:101.6%
real 2m18.042s
user 2m10.204s
sys 0m6.876s
解壓縮耗時,cpu最高:101.6%
real 0m26.756s
user 0m20.175s
sys 0m6.580s
壓縮後-rw-r--r-- 1 root root 2349563863 dec 3 19:54 dbs.tar.gz
2、pigz測試
併發8執行緒(預設):
壓縮耗時,cpu最高:832%
real 0m21.710s
user 2m31.229s
sys 0m9.101s
解壓縮耗時,cpu最高:199%
real 0m13.239s
user 0m11.791s
sys 0m12.426s
併發4執行緒:
壓縮耗時,cpu最高:427.6%
real 0m38.299s
user 2m30.701s
sys 0m8.369s
解壓縮耗時,cpu最高:202%
real 0m13.294s
user 0m12.154s
sys 0m11.862s
壓縮後-rw-r--r-- 1 root root 2350161547 dec 3 19:54 dbs.tar.gz
二、測試壓縮包檔案2
壓縮前-rw-r--r-- 1 root root 5248890880 dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar
1、gzip測試
壓縮耗時,cpu最高:101%
real 6m20.524s
user 6m2.466s
sys 0m7.410s
解壓縮耗時,cpu最高: 101%
real 0m58.893s
user 0m46.258s
sys 0m11.944s
壓縮後-rw-r--r-- 1 root root 1410045513 dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz
2、pigz測試
併發8執行緒(預設):
壓縮耗時,cpu最高: 799%
real 1m11.908s
user 6m36.717s
sys 0m9.860s
解壓縮耗時,cpu最高:179%
real 0m33.188s
user 0m38.069s
sys 0m16.728s
併發4執行緒:
壓縮耗時,cpu最高: 418%
real 1m41.547s
user 6m36.782s
sys 0m9.806s
解壓縮耗時,cpu最高: 179%
real 0m33.120s
user 0m37.500s
sys 0m16.956s
壓縮後-rw-r--r-- 1 root root 1406061442 dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz
結論:
1、pigz預設用法(預設併發執行緒是邏輯cpu個數)可比gzip快5.3倍,cpu消耗則是gzip的8倍,壓縮比則相當;
2、併發8執行緒對比4執行緒提公升:41.2%,16執行緒對比8執行緒提公升:27.9%,32執行緒對比16執行緒提公升:3%;
3、在對壓縮效率要求較高、但對短時間內cpu消耗較高不受影響的場景,使用pigz非常合適。
**:經個人測試,gzip和pigz命令可以互通,即用gzip壓縮的檔案可以用pigz來解壓,pigz壓縮的檔案也可以用gzip來解壓·~~~~放心使用,哈哈····
用迴圈代替游標
在sql的sp開發中,游標有不可或缺的作用。但是,一些不當的使用游標,會造成嚴重系統效能的下降,所有呢,很多的人就想找乙個方法,即能達到游標的功能,又對效能影響小一些。這就是本文要講的用迴圈代替游標。一般情況下,用光標的目的就是要達到乙個迴圈,可是我們要是以迴圈來作呢,如何來控制當前的變數值就是關鍵...
文字超出用 代替
文字超出用 代替分兩種情況,一種是文字不換行,只在一行顯示,另一種是文字可以換行,但是最多顯示2行或3行 white spcae nowrap 強制讓文字不能換行 overflow hidden text overflow ellipsis overflow hidden text overflow...
用GZip壓縮和解壓
net支援兩種壓縮格式 gzip和deflate。我試了一下,壓縮率和速度沒區別。其中,gzip可以被winrar開啟。使用起來很簡單,下面的程式將字串壓縮入檔案 using deflatestream gzip new deflatestream fs,compressionmode.compre...