軟體測試於ubuntu 16.04lts
ubuntu環境下預設~/bin為個人環境變數目錄
比較linux系統自帶gzip工具、多線gz壓縮工具pigz、以及最新適合fastq壓縮又快又小的軟體gtx(自稱只有傳統gzip的1/6體積,實測單執行緒速度快了3倍,體積減少為gzip的2/3大小)
gzip系統預設,無須安裝
pigz多執行緒壓縮工具,可通過ubuntu系統自帶的新立德工具箱一鍵安裝
sudo apt-get install pigz
gtx壓縮工具,由於是新演算法,壓縮格式不是gz,而是gtz格式
wget
# 解壓
tar zxvf gtz_public_0.2
.2k_ubuntu_release.tgz
# 進入程式目錄
cd gtz_public_0.2
.2k_ubuntu_release/
# 顯示幫助
./gtz -h
# 新增環境變數,一定要軟鏈,否則程式無法執行
ln -s `pwd`/gtz ~/bin/
使用bgiseq500產生的pe100測序檔案的一端作為測試。7.8gb,比較典型的測序樣品大小。
不支援多執行緒的gzip
time gzip -c test.fq > test.fq
.gz
多執行緒壓縮pigz
# 注意-p一定要寫下前面,後面無效
time pigz -k -p 32 test.fq
time pigz -k -p 8 test.fq
time pigz -k -p 1 test.fq
time pigz -k test.fq
gtz
time gtz test.fq
# 時間31s,壓縮率24.3%(1.91/7.83g),預設輸出檔案為otu.gtz,不刪除輸入檔案,cpu使用峰值為30執行緒
# 指定單執行緒數壓縮至指定檔案
time gtz test.fq -p 1 -o test.fq
.gtz
# 8m,壓縮率不變
time gtz test.fq -p 8 -o test.fq
.gtz
# 1m21s,壓縮率不變
time gtz test.fq -p 32 -o test.fq
.gtz
# 32s,壓縮率不變
三款軟體不同執行緒下表現
執行緒gzip
pigz
gtz1
16m53s
23m46s8m8
-3m12s
1m21s32-
47s32s96-
50s31s
rate
36.5%
36.5%
24.3%
-
代表不支援多執行緒。執行緒不要給太多,超過30幾乎沒有意義,反而速度下降,還浪費大量計算資源。
gunzip
time gunzip test.fq
.gz
unpigz
time unpigz test.fq
.gztime unpigz -p 32 test.fq
.gztime unpigz -p 8 test.fq
.gztime unpigz -p 1 test.fq
.gz
gtz
gtz -d test.fq
.gtz
gtz -d test.fq
.gtz -p 32
gtz -d test.fq
.gtz -p 8
gtz -d test.fq
.gtz -p 1
解壓時間大比拼
執行緒gunzip
unpigz
gtz1
1m32s
55s12m22s8-
54s1m51s32-
55s53s96-
50s39s
以標準的gzip為對照,點評另兩另個並行軟體pigz和gtz的優缺點;
在壓縮上,單執行緒,pigz反而更慢50%,而gtz速度可以提高一倍;在多執行緒時,速度在前30執行緒內可線性提高,優勢明顯。gtz在速度和壓縮率上更勝一籌,30執行緒時時間和壓縮比仍比pigz超50%,但絕對沒有宣傳的壓縮率提高7倍這麼牛。
在解壓上,unpigz也不支援多執行緒,但比gunzip略快。gtz由於壓縮率略高,解壓演算法較複雜,在32執行緒時才比單執行緒解壓的unpigz更快,這對計算需求大壓力也比較大。
此外,gtz格式目前還是非主流,並不能被其它軟體直接使用,因此只適合儲存備份長期不用的檔案,還是值得使用的。但常用軟體目前不能直接使用此格式。
快速壓縮解壓還是要使用gz格式,主流軟體支援好,解壓速度快,占用資源少。
gzip中文幫助
pigz官網
gtx.zip–基因領域唯一100%安全無誤的企業級壓縮大咖!
gtz源**
學習擴增子、巨集基因組科研思路和分析實戰,關注「巨集基因組」
Linux 壓縮 解壓工具
gzip選項 d 解壓縮,相當於gunzip 指定壓縮級別1 9,預設為6,數字越大壓縮比越大 c 將壓縮結果打到終端,可以重定向為壓縮檔案gzip c file path to some file gunzip為解壓工具 zcat在不解壓的情況下檢視內容 bzip2選項 d 解壓縮,相當於bunz...
壓縮和解壓工具bandizip
提及 windows 平台的壓縮軟體,大家往往想起老牌的 winrar 開源免費的 7 zip 國產的快壓 好壓 360 壓縮之類,甚至還有時代的眼淚 winzip。一直以來,壓縮軟體因為作為十分基礎的工具軟體 同類產品同質化而很少被注意到,只要沒有重大的缺陷,大家往往會就著現在在用的繼續用下去。和...
解壓縮SIS檔案工具
這裡介紹兩個工具 dumpsis和sisware。本來是為了檢視sis檔案需要什麼樣的capability才找到這兩個工具的,使用後才發現,工具所檢視到的capability是mmp檔案中設定的capability。不過這兩個工具也比較有用,可以解析出來sis檔案中包含的程式檔案。第乙個工具 dum...