就壓縮而言,對於資料儲存應該是乙個比較大的優化,
而 kafka 自然也是支援這種特性的,
但是這裡可能會有那麼一點坑。
我們主要從:
何時產生壓縮?
何時會解壓縮?
兩個方面來說,並針對一些可能出現的坑做一些說明。
生產者為了資料在傳輸到 kafka 可以更快,
那麼在生產者啟動壓縮自然是很正常的。
broker端
broker 主要是負責儲存資料,
壓縮能夠很好的減少磁碟的占用。
一般情況而言,
如果資料已經在 生產者端壓縮了,
那麼其實就不需要在broker端再做處理,
實際上也確實是這樣,
但是如果發生以下這些情況,
那麼broker端會再進行壓縮,
這樣無疑會導致效能問題,
所以應該盡量避免:
consumer端
消費資料自然需要將資料解壓縮,這個沒什麼好說的。
broker端
這裡可能你要奇怪了,
為什麼broker端還要解壓縮呢?
實際上broker端只是為了進行訊息的校檢,
以保證資料的正確性,
這樣必然會給broker端的效能帶來一定的影響,
但是就目前來說,好像也沒什麼好的解決辦法。
最後 附上一張壓縮演算法對比圖
使用lzbench (一種開源記憶體基準測試工具)在執行linux debian的伺服器上執行多個快速壓縮演算法測試獲取的結果。
壓縮演算法對比.jpg
關於 WinScp 的一點使用經驗
在嵌入式平台下 是,使用ssh登陸,可以使用winscp提供的圖形介面,支援拖拽,滑鼠直接開啟,甚是好用。使用winscp 登陸的方式有,scp和sftp兩種,之前乙隻用scp,但後來出現了如下錯誤,登陸無法載入目錄 這種錯誤乙隻沒有解決。後來就是用了sftp。這需要把sftp server檔案 s...
mysql一點經驗
今天看了下mysql5的英文手冊,雖然只看了一點點,還是要分享一下其中比較實用的東西。為了方便大家學習,舉出下面給出一些例子。大家看著用就行了。特別是被很多程式設計師忽略的mysql變數,那可真是個好東西呀。1 時間操作 表名 table 字段 birth 格式1989 05 13 根據年紀計算歲數...
爬蟲的一點經驗
1.寫乙個網頁爬蟲的時候遇到了乙個div巢狀問題,即乙個大的div裡面有很多小的div,如 xx x 這樣乙個型別,如果爬取內層的div是很簡單的,正規表示式十分好寫 div 但是如果要爬取外面的div該怎麼辦呢?當時我的做法是繼續尋找,找出該段內容後面的具有識別該段內容能力的內容。如上式,在正規表...