linux常見檔案
cat>>start.sh
ctrl+d推出儲存
kafka啟動指令碼
#!/bin/bash
echo "start kafka>>>"
#cd /home/software/kafka_2.11-0.11.0.3
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
sleep 1
bin/kafka-server-start.sh -daemon config/server.properties
kafka停止指令碼
#!/bin/bash
echo "kafka stop >>>?"
bin/kafka-server-stop.sh
sleep 1
bin/zookeeper-server-stop.sh
常見命令
生產者客戶端
bin/kafka-console-producer.sh --broker-list 192.168.43.122:9092 --topic test
bin/kafka-console-producer.sh --broker-list iod.kafka:6667 --topic test
bin/kafka-console-producer.sh --broker-list 192.168.43.161:9092 --topic test
消費者客戶端
bin/kafka-console-consumer.sh --bootstrap-server 192.168.43.122:9092 --topic vehicle_passlog--from-beginning
bin/kafka-console-consumer.sh --bootstrap-server 192.168.43.161:9092 --topic test
bin/kafka-console-consumer.sh --bootstrap-server iod.kafka:6667 --topic vehicle_passlog
bin/kafka-console-consumer.sh --zookeeper iod.kafka:2181 --topic iod_gcjlout
啟動zookeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties >/dev/null &
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
啟動kafka
nohup bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh -daemon config/server.properties
檢視topic列表
bin/kafka-topics.sh --list --zookeeper 192.168.43.122:2181
bin/kafka-topics.sh --list --zookeeper 61.16.43.64:2181
檢視topic詳情
bin/kafka-topics.sh --zookeeper 192.168.43.122:2181 --describe --topic test
檢視消費情況
bin/kafka-run-class.sh kafka.tools.consumeroffsetchecker --zookeeper localhost:2181 --group zhsq --topic vehicle_passlog
bin/kafka-consumer-offset-checker.sh --zookeeper 61.16.43.64:2181 --topic iod_gcjlout --group zhsq
建立topic，1個副本6個分割槽，副本數小於broker數,乙個分割槽只能同時被乙個消費者執行緒消費，一般分割槽數量等於執行緒數量，
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 6 --topic test
刪除topic
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
後台啟動kafka
bin/kafka-server-start.sh -daemon config/server.properties
hosts目錄
c:\windows\system32\drivers\etc
auto.offset.reset
如果存在已經提交的offest時,不管設定為earliest 或者latest 都會從已經提交的offest處開始消費
如果不存在已經提交的offest時,earliest 表示從頭開始消費,latest 表示從最新的資料消費,也就是新產生的資料.
consul 啟動，停止指令碼
目錄前言 一 consul指令碼 start,stop,restart,status consul shell指令碼 start 啟動,停止 stop 重啟指令碼 restart 獲取狀態 status 本例採用的版本是 consul 1.6.4 cd dirname 0 base dir pwd ...
flume啟動停止指令碼
1.在bin 目錄下建立f1.sh vim f1.sh 寫入 bin bash case 1in start for i in hadoop01 hadoop02 doecho 啟動 i 採集flume ssh i nohup opt flume bin flume ng agent conf fi...
批量啟動kafka指令碼
一般kafka我們配置3臺，在啟動kafka時候需要到每個節點上一一啟動，所以寫個指令碼，方便執行。指令碼編寫 kf.sh bin bash case 1 in start stop esac 2.將指令碼上傳到 opt module hadoop 3.2.1 bin 前提是 hadoop已經配置過...