lz4壓縮格式 block

lz4屬於lz77系列的壓縮演算法，lz77系列壓縮演算法將重複的字串（也稱為匹配）表示成（offset、match length）來對資料進行壓縮。lz77演算法只是一種思想，尋找匹配的方式有很多中，常見的有hash chain、bst，這些演算法會在介紹各個通用壓縮演算法的時候介紹。

本文只介紹lz4的壓縮格式，詳細的演算法實現會放在另外文章裡面講。

lz4實現了兩種格式，分別叫block、frame

名詞翻譯說明：

序列的格式如下：

高4bit

低4bit

0-n byte

2 byte

0-n byte

未匹配的字元長度

匹配的字元長度

可選的未匹配的字元長度

未匹配的字元

offset

可選的匹配長度

序列的填值規則如下：

1.「高4bit的值」等於15，則說明「可選的未匹配的字元長度」裡面有值，小於15則「可選的未匹配的字元長度」欄位不存在。

「可選的未匹配的字元長度」部分，如果前乙個位元組的值為255，表示後面乙個位元組也是屬於該欄位。

2.「低4bit值」的儲存規則與「高4bit」一致。如果值等於15，則說明「可選的匹配長度」部分還有資料與「低4bit」一起組成匹配的字元長度。

3.「offset」欄位為固定的2個位元組，所以lz4選取的查詢視窗為固定的64kb，無法配置。該欄位採用小端格式儲存數值。最後乙個序列只包含未匹配的字串，為了與其他序列進行區分，offset的值是0

一般匹配的字元長度都比較小，「低4bit」就儲存完整的長度值，所以lz4將第乙個位元組拆成高低4位，最大限度的節約了資料的儲存，提高了壓縮率。

下面以乙個具體的例子來說明lz4_block格式。

比如輸入資料為：

abcdefghijklmnoabcdefghijklmno

lz4演算法會將該字串轉成三元組。

（『abcdefghijklmno』（未匹配的字串），15（offset），15（match length））

轉成位元組流如下：

高4bit

低4bit

1 byte

15 byte

2 byte

1 byte

1515

0abcdefghijklmno150

從上面可以看到，lz4_block格式沒有header欄位，一般的壓縮演算法有許多引數可選，比如視窗大小，擋位，是否進行crc校驗等。當這些引數在解壓的時候需要知道，則壓縮格式中會設計header部分，並將這些資料儲存進去，供解壓的時候使用。

int
decode
(char
* input,
int inlen,
char
* output,
int outlen)
literallen +
=*inp;
inp++;}
decodesize +
= literallen;
memcpy
(outp, inp, literallen)
;        inp +
= literallen;
outp +
= literallen;
//解碼offset
int offset =
*(inp +1)
;        offset =
(offset <<8)
+*inp;
inp +=2
;// 解碼matchlen
if(offset >0)
matchlen +
=*inp;
inp++;}
unsigned
char
* matchpos =
(unsigned
char*)
(output + decodesize)
- offset;
for(
int i =
0; i < matchlen; i++
)            decodesize +
= matchlen;
outp +
= matchlen;}if
(inp -
(unsigned
char
*)input >= inlen)
}return decodesize;
}

lz4壓縮格式 block

lz4壓縮的使用

linux下lz4解壓縮遇到的那些事兒

演算法 LZ77壓縮演算法

lz4壓縮格式 block

lz4壓縮的使用

linux下lz4解壓縮遇到的那些事兒

演算法 LZ77壓縮演算法

相關推薦