kafka中文文件topic配置引數

2021-09-02 21:09:39 字數 4426 閱讀 8936

名稱

描述

型別

預設值

可用值

伺服器預設屬性

重要性

cleanup.policy

"delete" 或 「compact」的字串。這個字串指派了用在老的日誌片段的儲存策略。預設的策略(「delete」)會在它們的保留時間或是大小超出限制時丟棄老的片段。設定為」compact」將在主題上啟用日誌壓縮。

delete

[compact, delete]

log.cleanup.policy

中compression.type

字元producer

compression.type

中delete.retention.ms

為日誌壓縮主題保留刪除墓碑標記的時間。這個設定也給出了乙個消費者必須完成乙個讀取的邊界,如果它們開始從偏移0 到確保它可以得到乙個可用的最尾端的快照(否則在它們完成掃瞄之前刪除墓碑會被收集)

長整型86400000

[0,...]

log.cleaner.delete.retention.ms

中file.delete.delay.ms

從檔案系統刪除乙個檔案之前的等待時間。

長整型60000

[0,...]

log.segment.delete.delay.ms

中flush.messages

這個設定允許指定乙個時間間隔,它將用於寫入到日誌的資料強制進行檔案同步。例如:如果這個值被設定為1我們將在每條訊息之後進行檔案同步。如果是5我將在每5條訊息後進行檔案同步。通常我們推薦你不要設定這個值並使用副本實現永續性和允許使用作業系統的後台重新整理能力,因為它更高效。此設定可以按每個主題覆蓋(參見每個主題配置部分)。

長整型9223372036854775807

[0,...]

log.flush.interval.messages

中flush.ms

這個設定允許指定乙個時間間隔,它將用於寫入到日誌的資料強制進行檔案同步。例如:如果這個值被設定成1000我們將在1000毫秒之後進行檔案同步。通常我們推薦你不要設定這個值並使用副本實現永續性和允許使用作業系統的後台重新整理能力,因為它更高效。

長整型9223372036854775807

[0,...]

log.flush.interval.ms

中follower.replication.throttled.replicas

應該被限制在跟隨者端的日誌副本列表。這個列表應該描述成副本的乙個集合,格式為 [partitionid]:[brokerid],[partitionid]:[brokerid]:…或是可選的萬用字元「*」,可以用來限制這個主題的所有副本。

列表""

[partitionid],[brokerid]:[partitionid],[brokerid]:...

follower.replication.throttled.replicas

中index.interval.bytes

這個設定控制了 kafka新增乙個索引入口到它的偏移索引的頻率。預設設定是確保我們的索引資訊大約每4096位元組。更多的索引允許在日誌中讀取時跳躍到離期望的位置更近的地方,但是這樣會讓索引更大。你很可能不需要更改這個值。

列表4096

[0,...]

log.index.interval.bytes

中leader.replication.throttled.replicas

應該被限制在伺服器端的日誌副本列表。這個列表應該描述成副本的乙個集合,格式為 [partitionid]:[brokerid],[partitionid]:[brokerid]:…或是可選的萬用字元「*」,可以用來限制這個主題的所有副本。

列表""

[partitionid],[brokerid]:[partitionid],[brokerid]:...

leader.replication.throttled.replicas

中max.message.bytes

kafka允許的最大的記錄批次大小。如果這是增長的並且有老於0.10.2的消費者,消費者獲取大小也必須是增長的以便它們可以這個大小的記錄批次。在最新的訊息格式版本中,記錄常常分組為批次來實現更高效。在先前的訊息格式版本中,未壓縮的記錄沒有按批次分組,並且在這種情況下這樣的侷限僅適用於乙個單一的記錄。

整型1000012

[0,...]

message.max.bytes

中message.format.version

指定了broker將用於追加訊息到日誌的訊息格式的版本。這個值應該是乙個有效的api版本。例如:0.8.2, 0.9.0.0, 0.10.0,更多詳情請檢視api版本。通過設定乙個獨特的訊息格式版本,使用者可以證明所有在磁碟上已存在的訊息版本都小或等於指定版本。如果這個值沒有被正確的設定將導致有更老版本的消費者崩潰,它們將收到帶有乙個它們不認識的格式的訊息。

字元0.11.0-iv2

log.message.format.version

中message.timestamp.difference.max.ms

長整型9223372036854775807

[0,...]

log.message.timestamp.difference.max.ms

中message.timestamp.type

字元createtime

log.message.timestamp.type

中min.cleanable.dirty.ratio

這個配置控制著日誌壓縮器將要嘗試清理日誌的頻率(假設日誌壓縮已啟用)。預設情況下,我們將避免清理超過50%的已被壓縮的日誌。這個比率限制了日誌中重複的最大空間(最多50%個日誌中的50%個可能是重複的)。更高的比率意味著更少、更高效的清潔,但也意味著在日誌中有更多的空間浪費。

雙精度型

0.5[0,...,1]

log.cleaner.min.cleanable.ratio

中min.compaction.lag.ms

一條訊息在日誌裡保持未壓縮的最小時間。只對壓縮的日誌有效。

長整型0

[0,...]

log.cleaner.min.compaction.lag.ms

中min.insync.replicas整型1

[1,...]

min.insync.replicas

中preallocate

設為true時我們應當在建立乙個新的日誌片段時預分配檔案在磁碟上。

布林false

log.preallocate

中retention.bytes

如果我們使用」delete」保留策略,這個配置控制了丟棄乙個老的日誌片段來釋放之前保留乙個日誌檔案可以增長到的最大在小。預設情況下沒有大小限制,只有時間限制。

長整型-1

log.retention.bytes

中retention.ms

如果我們使用」delete」保留策略,這個配置控制了丟棄乙個老的日誌片段來釋放之前保留乙個日誌檔案最大時間。這代表在服務級別協議之上,乙個消費者必須多快地讀取他們的資料。

長整型604800000

log.retention.ms

中segment.bytes

這個配置控制了日誌片段檔案。保留或清理通常是一次乙個檔案的進行的。所以乙個大的片段大小意味著更少的檔案,但是保留上的控制會有更少的顆粒。

整型1073741824

[14,...]

log.segment.bytes

中segment.index.bytes

這個配置控制了到檔案位置的對映偏移索引的大小。我們預分配這個索引檔案並且只在日誌展開後收縮。通常情況下不需要改這個設定。

整型10485760

[0,...]

log.index.size.max.bytes

中segment.jitter.ms

計畫的片段展開時間減少的最大隨機抖動,以免發生迅速集中的片段展開。

長整型0

[0,...]

log.roll.jitter.ms

中segment.ms

這個配置控置了時間週期,在這之後 kafka將會強制日誌展開,即使這個片段檔案沒有滿到確保保留可以刪除或是壓縮舊的資料。

長整型604800000

[0,...]

log.roll.ms

中unclean.leader.election.enable

指示是否開啟不在isr裡的副本設定為選舉為領導者作為最後的手段,儘管這樣做會導致資料丟失。

布林false

unclean.leader.election.enable

Pentaho bi 中文文件

目錄 building and debugging pentaho with eclipse zh cn 1.5.4 getting started with the bi platform zh cn 1.5.4 pentaho building components 1.5.4 pentaho ...

vim 中文文件

安裝中文幫助文件之前首先執行下列操作 在home目錄下列新建資料夾 vim vim是乙個隱藏檔案,不要漏了 vim plugin vim目錄下的plugin資料夾 vim doc vim目錄下的doc資料夾 vim syntax vim目錄下的syntax資料夾 在home目錄下新建隱藏檔案 vim...

sklearn中文文件

apachecn cwiki 位址為 scikit learn 0.18 中文文件 sklearn 基於 python 語言的,簡單高效的資料探勘和資料分析工具,建立在 numpy,scipy 和 matplotlib 上。以下是 sklearn 官方文件中文版,如果你也有興趣,歡迎來一起來維護迭代...