kafka 系列 7 2 日誌索引

kafka的索引檔案以稀疏索引的方式構造訊息的索引，每個segmentfault檔案，對應 2 個索引檔案。偏移量索引檔案(xx.index)用於建立訊息偏移量到實體地址之間的對映關係；時間戳索引檔案(xx.timeindex)根據指定的時間戳查詢對應的偏移量資訊。

.index、.timeindex均保持嚴格單調遞增，在查詢時，都使用二分查詢法，如果查不到，均返回比查詢值要小的最大值。

當日誌分段檔案滿足以下幾個條件任意之一，便會切分索引檔案

分段檔案大小超過broker引數log.segment.bytes配置的值，預設為1073741824，即1g

當前分段日誌中訊息的最大時間戳與當前系統的時間戳差值大於log.roll.ms或log.roll.hours引數配置的值。其中前者優先順序大於後者，預設配置了log.roll.hours = 168，即7天

.index或.timeindex的大小達到broker端引數log.index.size.max.bytes配置的值，該值預設為10485760即10mb

追加的訊息的偏移量與當前日誌分段的偏移量之間差值大於integer.max_value

.index每個索引項，佔8個位元組。結構如下圖所示：

relativeoffset：相對偏移量，表示訊息相對於baseoffset偏移量，占用4個位元組

訊息的偏移量(offset)占用8個位元組，稱為絕對偏移量。為了節省空間,relativeoffset採用4個位元組，relativeoffset = offset - baseoffset。

因為relativeoffset是4個位元組，因此當offset - baseoffset值大於integer.max_value，則會導致無法繼續儲存在當前 .index 檔案

每個索引項占用12個位元組，結構如下圖：

當前日誌分段最大的時間戳。佔8個位元組

relativeoffset：

時間戳所對應的訊息的相對偏移量。佔4個位元組

不同點rocketmq的索引檔案，存放在index目錄下。

rocketmq使用的是hash進行查詢，使用的是鍊錶法解決衝突hash衝突。