kafka入門系列1 kafka安裝前準備

2021-09-22 09:55:31 字數 1518 閱讀 9620

提取碼：1dj7

在根目錄下建立tempfile資料夾，然後將zookeeper和kafka上傳到該目錄下並解壓

[root@localhost tempfile]


# tar xvf zookeeper-3.4.7.tar.gz


[root@localhost tempfile]


# tar xvf kafka_2.11-1.0.0.tgz
將zookeeper和kafka移動到home目錄下

[root@localhost home]


# mkdir software


[root@localhost home]


# cd /tempfile/


[root@localhost tempfile]


# mv kafka_2.11-1.0.0 /home/software/


[root@localhost tempfile]


# mv zookeeper-3.4.7 /home/software/
配置zookeeper

[root@localhost tempfile]


# cd /home/software/zookeeper-3.4.7/conf


[root@localhost conf]


# cp zoo_sample.cfg zoo.cfg


[root@localhost conf]


# vi zoo.cfg
修改配置檔案如下：

datadir=/home/software/zookeeper-3.4.7/userdata
在配置檔案最後一行新增以下內容

server.1=192.168.234.10:2888:3888
切換到/home/software/zookeeper-3.4.7/下，建立userdata目錄

[root@localhost zookeeper-3.4.7]


# cd userdata/


[root@localhost userdata]


# vi myid
在檔案裡寫上數字1，然後儲存退出

7. 啟動zookeeper，分別進入三個節點zk目錄下的bin目錄，執行

[root@localhost bin]


# sh zkserver.sh start
檢視節點的狀態：

節點1：

[root@localhost bin]


# sh zkserver.sh status


zookeeper jmx enabled by default


using config: /home/software/zookeeper-3.4.7/bin/../conf/zoo.cfg


mode: standalone
安裝kafka

Kafka系列1 Kafka安裝與相關命令

單節點kafka安裝 解壓kafka 執行zookeeper 必須 執行zookeeper 修改kafka配置檔案 broker.id 0 port 9092 log.dir tmp kafka logs 0 zookeeper.connect 192.168.60.81 2181,192.168....

kafka系列之kafka入門概論 1

舉個例子，生產者消費者，生產者生產雞蛋，消費者消費雞蛋，生產者生產乙個雞蛋，消費者就消費乙個雞蛋，假設消費者消費雞蛋的時候噎住了 系統宕機了 生產者還在生產雞蛋，那新生產的雞蛋就丟失了。再比如生產者很強勁 大交易量的情況 生產者1秒鐘生產100個雞蛋，消費者1秒鐘只能吃50個雞蛋，那要不了一會，消費...

1 kafka的相關概念

kafka是乙個分布式的基於發布 訂閱模式的訊息佇列，主要應用於大資料實時處理領域。在kafka中，kafka對訊息的儲存根據topic進行分類，傳送訊息的稱為producer，訊息接收者稱為consumer。乙個server成為乙個broker，kafka依賴zookeeper儲存一些元資料資訊 ...