kafka設定某個topic的資料過期時間

kafka 預設存放7天的臨時資料，如果遇到磁碟空間小，存放資料量大，可以設定縮短這個時間。

修改 server.properties

log.retention.hours=72

log.cleanup.policy=delete

想單獨對這個topic的過期時間設定短點：

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention.ms=86400000

檢視設定：

$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics

configs for topics:wordcounttopic are retention.ms=86400000

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete

kafka刪除topic的方法

0.8的官方文件提供了乙個刪除topic的命令 kafka topics.sh delete 但是在執行時會報錯找不到這個方法。kafka topics.sh最終是執行了kafka.admin.topiccommand這個類，在0.8的原始碼中這個類中沒有找到有delete topic相關的 在ka...

Kafka主題 topic 的刪除

step1 如果需要被刪除topic 此時正在被程式 produce和consume，則這些生產和消費程式需要停止。因為如果有程式正在生產或者消費該topic，則該topic的offset資訊一致會在broker更新。呼叫kafka delete命令則無法刪除該topic。同時，需要設定 auto....

kafka的Topic和日誌

kafka中所有訊息是通過topic為單位進行管理，每個kafak的topic通常會有多個訂閱者，負責訂閱傳送到該topic的資料。kakfa負責管理集群中每個topic的一組日誌分割槽資料 生產者將資料傳送到相應的topic。負責定址將哪個分割槽傳送到topic的哪個partion？例如 roun...