tar -zxvf kafka_2.11-0.9.0.1.tgz
建立軟連線:ln -s kafka_2.11-0.9.0.1 kafka
命令:vi server.properties
引數的配置:
#broker的全域性唯一編號，不能重複
broker.id=0
#用來監聽鏈結的埠，producer和consumer在此埠建立鏈結
port=9092
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟io的執行緒數量
num.io.threads=8
#傳送套接字的快取區的大小
socket.send.buffer.bytes=102400
#接受套接字快取區的大小
socket.receive.buffer.bytes=102400
#請求套接字快取區的大小
socket.request.max.bytes=104857600
#kafka執行日誌存放的路徑
#topic在當前broker上的分片數
num.partitions=2
#用來清理和恢復data下的資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168
#滾動生成新的segment檔案的最大時間
log.roll.hours=168
#日誌檔案中每個segment的大小，預設是1g
log.segment.bytes=1073741824
#週期性檢查檔案大小的時間
log.retention.check.interval.ms=300000
#日誌清理是否開啟
log.cleaner.enable=true
#broker需要在zookeeper儲存meta資料
zookeeper.connect=hdp01:2181,hdp02:2181,hdp03:2181
#zookeeper連線超時時間
zookeeper.connection.timeout.ms=6000
#partition buffer中,訊息的條數達到閾值，將觸發flush到磁碟
log.flush.interval.messages=10000
#訊息topic需要在server.properties中設定delete.topic.enable=true否則只是標記刪除
delete.topic.enable=true
#此處的host.name為本機ip(重要),如果不改，則客戶端會丟擲:producer connection to localhost:9092 unsuccessful錯誤
host.name=hdp01
advertised.host.name=hdp01
scp -r kafka_2.11-0.9.0.1 主機名:$pwd
建立軟連線:ln -s kafka_2.11-0.9.0.1 kafka
a、依次修改各個伺服器上server.properties的配置檔案中的broker.id，不得重複；
b、同時修改host.name和advertised.host.name的value。
1、先啟動zookeeper的集群:zkserver.sh start
server.properties
學習筆記 Kafka
kafka kafka把資料往磁碟上寫，但是在磁碟上存它的讀寫速度比記憶體快，這個依賴於預讀和後寫功能，但是這個預讀和後寫必須是按照順序的方式，若沒有順序的方式優化的話，不存在什麼預讀和後寫。特點 訊息持久化 能落到磁碟 通過o 1 的磁碟資料結構提供資料的持久化 高吞吐量 分布式 擴充套件能力強 ...
Kafka學習筆記
1.1簡介 apache kafka 是分布式發布 訂閱訊息系統 訊息中介軟體 它最初由 linkedin 公司開發，之後成為 apache 專案的一部分。kafka 是一種快速 可擴充套件的 設計內在就是分布式的，分割槽的和可複製的提交日誌服務。apache kafka 與傳統訊息系統相比，有以下...
kafka學習筆記
1.1 kafka的特性 controller在zookeeper註冊watch zookeeper管理kakfabroker集群。所有的kafkabroker節點一起去zookeeper上註冊乙個臨時節點,只有乙個能成功,成功註冊的節點稱之為 kafkabrokercontroller,其餘的稱之...