lzop命令安裝
yum install lzop
lzop命令基本操作命令# lzop -v test # 建立test.lzo壓縮檔案,輸出詳細資訊,保留test檔案不變
# lzop -uv test # 建立test.lzo壓縮檔案,輸出詳細資訊,刪除test檔案
# lzop -t test.lzo # 測試test.lzo壓縮檔案的完整性
# lzop –info test.lzo # 列出test.lzo中各個檔案的檔案頭
# lzop -l test.lzo # 列出test.lzo中各個檔案的壓縮資訊
# lzop –ls test.lzo # 列出test.lzo檔案的內容,同ls -l功能
# cat test | lzop > t.lzo # 壓縮標準輸入並定向到標準輸出
# lzop -dv test.lzo # 解壓test.lzo得到test檔案,輸出詳細資訊,保留test.lzo不變
lzop命令安裝
yum install lzop
lzop命令基本操作命令# lzop -v test # 建立test.lzo壓縮檔案,輸出詳細資訊,保留test檔案不變
# lzop -uv test # 建立test.lzo壓縮檔案,輸出詳細資訊,刪除test檔案
# lzop -t test.lzo # 測試test.lzo壓縮檔案的完整性
# lzop –info test.lzo # 列出test.lzo中各個檔案的檔案頭
# lzop -l test.lzo # 列出test.lzo中各個檔案的壓縮資訊
# lzop –ls test.lzo # 列出test.lzo檔案的內容,同ls -l功能
# cat test | lzop > t.lzo # 壓縮標準輸入並定向到標準輸出
# lzop -dv test.lzo # 解壓test.lzo得到test檔案,輸出詳細資訊,保留test.lzo不變
lzo檔案的並行map處理
hadoop集群中啟用了lzo後,還需要一些配置,才能使集群能夠對單個的lzo檔案進行並行的map操作,以提公升job的執行速度。首先,要為lzo檔案建立index。下面的命令對某個目錄裡的lzo檔案建立index hadoop home bin hadoop jar hadoop home lib...
lzo 安裝總結
1.安裝lzo動態庫到系統 usr local lib or usr lib rw r r 1 root root 559810 2011 08 03 18 38 liblzo2.a rwxr xr x 1 root root 918 2011 08 03 18 38 liblzo2.la lrwx...
lzo 交叉編譯
lzo 是致力於解壓速度的一種資料壓縮演算法,lzo 是 lempel ziv oberhumer 的縮寫。這個演算法是無損演算法,參考實現程式是執行緒安全的。lzo 庫實現了許多有下述特點的演算法 解壓簡單,速度非常快。解壓不需要記憶體。壓縮相當地快。壓縮需要 64 kb 的記憶體。允許在壓縮部分...