每條訊息在檔案中的位置成為offset(偏移量)，offset為long型數字。
過後無論是否被消費，都會被清楚。
consumer儲存消費資訊的offset。
kafka通過partition將日誌內容分散到多個server上，每個partition都會被
當前server儲存，kafka可以配置partition的備份個數，提高可用性。
每個partition有多個備份，乙個leader，leader負責所有的讀寫操作，若leader掛了，
由其他follower成為新的leader。leader承載了全部請求壓力，因此多個partition
多個leader，可以均衡負載。
kafka中，乙個partition的訊息只會被group中的乙個consumer消費，但是乙個consumer可以
消費多個partition。
由於kafka使用檔案儲存訊息，為了減少磁碟io，broker會將訊息暫時buffer起來，當訊息個數
達到一定閾值，在flush到磁碟。
consumer在和broker建立連線後，主動去pull(fetch)訊息。
partition目錄名，裡邊有很多大小相等的segment檔案，segment為儲存檔案。
每個segment file由兩大部分組成，index file和data file，一一對應，分別表示索引檔案和資料檔案。
kafka詳解一 Kafka簡介
分類 kafka 2014 08 18 10 45 375人閱讀收藏 舉報 背景 當今社會各種應用系統諸如商業 社交 搜尋 瀏覽等像資訊工廠一樣不斷的生產出各種資訊，在大資料時代，我們面臨如下幾個挑戰 如何收集這些巨大的資訊 如何分析它 如何及時做到如上兩點 以上幾個挑戰形成了乙個業務需求模型，即生...
kafka入門簡介
1 概述 kafka是linkedin於2010年12月份開源的訊息系統，它主要用於處理活躍的流式資料。活躍的流式資料在web 應用中非常常見，這些資料報括 的pv 使用者訪問了什麼內容，搜尋了什麼內容等。這些資料通常以日誌的形式記錄下來，然後每隔一段時間進行一次統計處理。2 設計目標 1 資料在磁...
Kafka學習 簡介
kafka是由linkedin開發的乙個分布式的訊息系統，使用scala編寫，它以可水平擴充套件和高吞吐率而被廣泛使用。目前越來越多的開源分布式處理系統如cloudera apache storm spark都支援與kafka整合。kafka是乙個訊息系統，原本開發自linkedin，用作linke...