記錄本地kafka偽集群安裝。
2: 安裝zk.
. 指定安裝目錄 /opt/zookeeper
. 解壓 tar -zxvf zookeeper-3.4.14.tar.gz > install.log.
. 簡單配置: cp ./zookeeper-3.4.14/conf/zoo_sample.cfg ./zookeeper-3.4.14/conf/z
3：啟動zk
驗證
安裝成功了。
2 安裝kafka
指定目錄 /opt/kafka
解壓壓縮包 tar -zxvf kafka_2.12-2.2.0.tgz > install.log
修改配置檔案
vi kafka_2.12-2.2.0/config/server.properties
log.dirs=/opt/kafka/data-logs
3 啟動服務
kafka_2.12-2.2.0/bin/kafka-server-start.sh kafka_2.12-2.2.0/config/server.properties
kafka_2.12-2.2.0/bin/kafka-server-start.sh-daemonkafka_2.12-2.2.0/config/server.properties
【記得將將hostname 加入/etc/hosts 此處有坑】
4測試建立主題 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1
檢視主題
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
傳送訊息
bin/kafka-console-producer.sh --borker-list localhost:9092 --topic test
接收訊息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
start record 。
HDFS偽分布式環境搭建
一 hdfs shell操作 以上已經介紹了如何搭建偽分布式的hadoop，既然環境已經搭建起來了，那要怎麼去操作呢？這就是本節將要介紹的內容 hdfs自帶有一些shell命令，通過這些命令我們可以去操作hdfs檔案系統，這些命令與linux的命令挺相似的，如果熟悉linux的命令很容易就可以上手h...
Kafka筆記 分布式環境搭建
部署 demo 2 解壓tar zxvf kafka 0.8.0 beta1 src.tgz,產生資料夾kafka 0.8.0 beta1 src更改為kafka01 3 配置 修改kafka01 config server.properties,其中broker.id,log.dirs,zooke...
hadoop偽分布式搭建
因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來，如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...