topic是邏輯上的概念,
partition是物理上的概念
kafka partition位置
/var/local/kafka/data
kafka訊息預設儲存時間為7天
0000000000.log檔案預設值最大為1g, 超過1g 會產生乙個新的檔案
由於生產者生產的訊息會不斷追加到log檔案末尾,為防止log檔案過大導致資料定位效率低下,
kafka採取了分片和索引機制。 將每個partition分為多個segment。 每個segment對應兩個檔案「.index」檔案、 「.log」檔案。
這些檔案位於乙個資料夾下,資料夾命名規則為:topic名稱+分割槽序號
.index 和 .log 檔案的命名規則就是當前檔案的最小offset值(偏移量值)
.index檔案:只存索引,存的每條訊息資料的起始的偏移量資訊。
index中的每條資訊存的大小都是固定的,因為只有偏移量資訊,所以有利於查詢。
.log檔案:存具體的資料,序列化的資料
Kafka檔案的儲存機制
同乙個topic下有多個不同的partition,每個partition為乙個目錄,partition命名的規則是topic的名稱加上乙個序號,序號從0開始。每乙個partition目錄下的檔案被平均切割成大小相等 預設乙個檔案是500兆,可以手動去設定 的資料檔案,每乙個資料檔案都被稱為乙個段 s...
Kafka檔案的儲存機制
同乙個topic下有多個不同的partition,每個partition為乙個目錄,partition命名的規則是topic的名稱加上乙個序號,序號從0開始。每乙個partition目錄下的檔案被平均切割成大小相等 預設乙個檔案是500兆,可以手動去設定 的資料檔案,每乙個資料檔案都被稱為乙個段 s...
Kafka檔案的儲存機制
同乙個topic下有多個不同的partition,每個partition為乙個目錄,partition命名的規則是topic的名稱加上乙個序號,序號從0開始。每乙個partition目錄下的檔案被平均切割成大小相等 預設乙個檔案是500兆,可以手動去設定 的資料檔案,每乙個資料檔案都被稱為乙個段 s...