kafka啟動命令
./bin/kafka-server-start.sh(啟動命令) -daemon(後台啟動引數) config/server.properties (配置檔案)
kafka語法
檢視主題個數 命令 ./bin/kafka-topics.sh --list --zookeeper hadoop01:2181
建立主題 命令 ./bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --topic first (topic 名稱) --partitions 2 (分割槽個數) --replication-factor 2 (副本個數)
刪除主題命令 ./bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic first(topic 名稱)
檢視主題詳情命令
./bin/kafka-topics.sh --describe --topic test(主題名稱) --zookeeper hadoop01:2181
建立主題 副本數不能大於分割槽數
生產者啟動命令
./bin/kafka-console-producer.sh --topic test --broker-list hadoop01:9092
消費者啟動命令
./bin/kafka-console-consumer.sh --topic test --zookeeper hadoop01:2181 --from-beginning
./bin/kafka-console-consumer.sh --topic test --bootstrap-server hadoop01:9092 --from-beginning
最大訊息儲存時間7天
消費者在zookeeper中存的是偏移量
生產者生產者分割槽
分割槽策略
分割槽原因 方便集群中擴充套件 每個partition 可以通過調整以適應他所在的機器,而乙個topic 又可以有多個partition組成因此整個 集群就可以適應任意大小資料
可以提高併發因為是以partition 為單位讀寫了
ack機制
0 的時候 生產者傳送資料到主題 不管主題有沒有接收到資料之間ack狀態
1的時候 生產者傳送資料到主題 只要leader接收成功返回ack狀態
-1 的時候 生產者 傳送資料到主題 leader與follower都接收到資料才返回ack狀態
上面兩種容易造成資料丟失 -1 情況容易造成資料重複的現象
消費資料的一致性 高水位
hw 消費者可見的最大值 消費者消費的一致性
只能保證副本之間資料一致性的問題 不能保證資料的不丟失 或者不重複
leo 每乙個分割槽每乙個副本的最大officeset
exactly once 精準一次性
kafka 消費者
消費方式
consumer 使用pull(拉取) 模式 broker中讀取資料
push(推)模式很難適用於消費者速率不同的消費者因為訊息傳送速率是有broker決定的
分割槽分配策略
同乙個消費者組裡面不同消費者不能同時消費同乙個分割槽
roundrobin 輪詢 按照最分 保證消費者組中消費者訂閱的主題是同乙個
range按照主題分
kafka入門基礎
分布式訊息系統，由linkedin使用scala編寫，用作linkedin的活動流 activity stream 和運營資料處理管道 pipeline 的基礎。具有高水平擴充套件和高吞吐量.當前由apache開源.整個系統由生產者 broker server和消費者三部分組成，生產者和消費者由開發...
Kafka 入門命令
消費者組 消費者和生產者 檢視幫助 kafka topics zookeeper localhost 2181 create topic money replication factor3 partitions8 if not exists partitions 分割槽數 zookeeper zk位...
kafka啟動命令 Kafka入門
kafka是乙個高效能分布式訊息系統，今天就簡單介紹下基礎入門吧。tar xzf kafka 2.12 2.2.0.tgz cd kafka 2.12 2.2.0二 啟動伺服器kafka使用zookeeper，所以我們要先啟動zookeeper，可以使用安裝檔案裡面的啟動命令啟動乙個單節點的zook...