Kafka學習 入門

2021-09-07 09:57:52 字數 2349 閱讀 1217

在進行如下配置前，首先要啟動zookeeper。

1.進入kafka解壓目錄

2.啟動kafka 

bin\windows\kafka-server-start config\server.properties
3.建立topic和檢視機器上topic

4.傳送資料

5.開始消費資料 

bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic1 --from-beginning
1.複製server.properties檔案，並修改檔案配置

broker.id=2


listeners=plaintext://:9094


log.dirs=e:\kafka_2.11-0.10.2-2\log
2.啟動kafka 

bin\windows\kafka-server-start config\server-1.properties


bin\windows\kafka-server-start config\server-2.properties
3.建立topic，然後檢視集群詳細資訊

bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic topic-cluster


bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
第一行詳細描述topic-cluster這個topic的集群資訊。主要包括topic名稱、分割槽數目、複製因子。後面的每一行描述乙個分割槽資訊，partition：0表示該分割槽編號為0；leader：0，表示該分割槽的leader的broker.id為0；replicas為所在的broker.id;該分割槽的isr為0、1、2.

4.向kafka集**送資料

5.開始消費資料

6.測試kafka集群失敗恢復 殺死leader程序

7.檢視集群資訊 

bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
此時可以發現，該分割槽的leader和isr都發生了改變.

8.重新消費資料

bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning

kafka入門學習

為了解決流式處理，也解決原版本較為死板的c通訊檔案，現在引入kafka來進行多併發等問題的處理。2019年03月08日14 19 21 此處解壓到 usr local目錄下 tar zxvf kafka 2.10 0.8.2.2.tgz c usr local cd usr local kafka ...

Kafka入門學習筆記

生產者，發布訊息。將訊息發布到指定的topic中，並負責決定發布到哪個分割槽。通常簡單的由負載均衡機制隨機選擇分割槽，但也可以通過特定的分割槽函式選擇分割槽。使用的更多的是第二種。kafka將訊息種子 feed 分門別類，每一類的訊息稱之為乙個topic。kafka的資料就儲存在topic。topi...

Kafka入門學習 基礎

kafka是什麼 kafka是最初由linkedin公司開發，是乙個分布式 支援分割槽的 partition 多副本的 replica 基於zookeeper協調的分布式訊息系統，它的最大的特性就可以實時的處理大量資料以滿足各種需求場景 比如基於hadoop的批處理系統 低延遲的實時系統 storm...