最近剛進公司在學spark streaming 相關的知識,所以先把相關的flume、kafka等學習下,下面給出在安裝 啟動過程**現的問題以及解決方法。
一、kafka安裝
(2)gedit ./bashrc 命令配置環境變數, 執行source ./bashrc 使檔案生效
二、啟動kafka
執行語句
$kafka_home/bin/kafka-server-start.sh config/server.properties
遇到問題及解決方法:
(1)記憶體報錯;
解決辦法:修改kafka-server-start.sh 檔案,將xmx1g-xms1g修改為xmx256m-xms128m
(2) 未知的名稱或服務
(3)無法啟動:zktimeoutexception:unable connect to zookeeper server within timeout:6000
解決辦法:host.name 改為本機ip
以上是本人在啟動kafka中遇到的問題。
三、kafka基本命令
(1)、建立topic
kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
(2)、檢視所以topic的資訊
kafka-topics.sh --list --zookeeper localhost:2181
(3)、檢視指定topic的詳細資訊
kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
(4)、生產訊息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
(5)、消費訊息
kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
kafka 基本命令
建立topic bin kafka topics.sh create zookeeper localhost 2181 replication factor 1 partitions 1 topic test 檢視所有topic bin kafka topics.sh list zookeeper ...
kafka基本命令使用
本文主要參考 最近開始接觸kafka,下面介紹介紹一些最基本的kafka 的操作。首先是啟動kafka。kafka依賴zookeeper,所以需要先啟動zookeeper。bin zookeeper server start.sh config zookeeper.properties然後啟動kaf...
kafka基本命令(速記)
usr local cellar kafka 1.1.0 1.1.0版本目錄,請檢視自己版本對應的目錄號 usr local etc kafka server.properties usr local etc kafka zookeeper.properties cd usr local cella...