壓縮解壓工具gzip pigz gtz大比較

2021-08-25 19:33:56 字數 2776 閱讀 7426

軟體測試於ubuntu 16.04lts

ubuntu環境下預設~/bin為個人環境變數目錄

比較linux系統自帶gzip工具、多線gz壓縮工具pigz、以及最新適合fastq壓縮又快又小的軟體gtx(自稱只有傳統gzip的1/6體積,實測單執行緒速度快了3倍,體積減少為gzip的2/3大小)

gzip系統預設,無須安裝

pigz多執行緒壓縮工具,可通過ubuntu系統自帶的新立德工具箱一鍵安裝

sudo apt-get install pigz
gtx壓縮工具,由於是新演算法,壓縮格式不是gz,而是gtz格式

wget

# 解壓

tar zxvf gtz_public_0.2

.2k_ubuntu_release.tgz

# 進入程式目錄

cd gtz_public_0.2

.2k_ubuntu_release/

# 顯示幫助

./gtz -h

# 新增環境變數,一定要軟鏈,否則程式無法執行

ln -s `pwd`/gtz ~/bin/

使用bgiseq500產生的pe100測序檔案的一端作為測試。7.8gb,比較典型的測序樣品大小。

不支援多執行緒的gzip

time gzip -c test.fq > test.fq

.gz

多執行緒壓縮pigz

# 注意-p一定要寫下前面,後面無效

time pigz -k -p 32 test.fq

time pigz -k -p 8 test.fq

time pigz -k -p 1 test.fq

time pigz -k test.fq

gtz

time gtz test.fq

# 時間31s,壓縮率24.3%(1.91/7.83g),預設輸出檔案為otu.gtz,不刪除輸入檔案,cpu使用峰值為30執行緒

# 指定單執行緒數壓縮至指定檔案

time gtz test.fq -p 1 -o test.fq

.gtz

# 8m,壓縮率不變

time gtz test.fq -p 8 -o test.fq

.gtz

# 1m21s,壓縮率不變

time gtz test.fq -p 32 -o test.fq

.gtz

# 32s,壓縮率不變

三款軟體不同執行緒下表現

執行緒gzip

pigz

gtz1

16m53s

23m46s8m8

-3m12s

1m21s32-

47s32s96-

50s31s

rate

36.5%

36.5%

24.3%

-代表不支援多執行緒。執行緒不要給太多,超過30幾乎沒有意義,反而速度下降,還浪費大量計算資源。

gunzip

time gunzip test.fq

.gz

unpigz

time unpigz test.fq

.gztime unpigz -p 32 test.fq

.gztime unpigz -p 8 test.fq

.gztime unpigz -p 1 test.fq

.gz

gtz

gtz -d test.fq

.gtz

gtz -d test.fq

.gtz -p 32

gtz -d test.fq

.gtz -p 8

gtz -d test.fq

.gtz -p 1

解壓時間大比拼

執行緒gunzip

unpigz

gtz1

1m32s

55s12m22s8-

54s1m51s32-

55s53s96-

50s39s

以標準的gzip為對照,點評另兩另個並行軟體pigz和gtz的優缺點;

在壓縮上,單執行緒,pigz反而更慢50%,而gtz速度可以提高一倍;在多執行緒時,速度在前30執行緒內可線性提高,優勢明顯。gtz在速度和壓縮率上更勝一籌,30執行緒時時間和壓縮比仍比pigz超50%,但絕對沒有宣傳的壓縮率提高7倍這麼牛

在解壓上,unpigz也不支援多執行緒,但比gunzip略快。gtz由於壓縮率略高,解壓演算法較複雜,在32執行緒時才比單執行緒解壓的unpigz更快,這對計算需求大壓力也比較大。

此外,gtz格式目前還是非主流,並不能被其它軟體直接使用,因此只適合儲存備份長期不用的檔案,還是值得使用的。但常用軟體目前不能直接使用此格式。

快速壓縮解壓還是要使用gz格式,主流軟體支援好,解壓速度快,占用資源少。

gzip中文幫助

pigz官網

gtx.zip–基因領域唯一100%安全無誤的企業級壓縮大咖!

gtz源**

學習擴增子、巨集基因組科研思路和分析實戰,關注「巨集基因組」

Linux 壓縮 解壓工具

gzip選項 d 解壓縮,相當於gunzip 指定壓縮級別1 9,預設為6,數字越大壓縮比越大 c 將壓縮結果打到終端,可以重定向為壓縮檔案gzip c file path to some file gunzip為解壓工具 zcat在不解壓的情況下檢視內容 bzip2選項 d 解壓縮,相當於bunz...

壓縮和解壓工具bandizip

提及 windows 平台的壓縮軟體,大家往往想起老牌的 winrar 開源免費的 7 zip 國產的快壓 好壓 360 壓縮之類,甚至還有時代的眼淚 winzip。一直以來,壓縮軟體因為作為十分基礎的工具軟體 同類產品同質化而很少被注意到,只要沒有重大的缺陷,大家往往會就著現在在用的繼續用下去。和...

解壓縮SIS檔案工具

這裡介紹兩個工具 dumpsis和sisware。本來是為了檢視sis檔案需要什麼樣的capability才找到這兩個工具的,使用後才發現,工具所檢視到的capability是mmp檔案中設定的capability。不過這兩個工具也比較有用,可以解析出來sis檔案中包含的程式檔案。第乙個工具 dum...