kafka集群輸出到elk集群，分析顯示搭建

zk 3個服務分別在三個主機上，kafka服務3個同上，elasticsearch服務3個同上，以上三個服務配置檔案在三颱機器上基本一樣，只需改一下ip等資訊。

logstash乙個在131，kibana1個在131

zk配置 zoo.cfg   ./zk/bin/zkserver.sh start

ticktime=2000

initlimit=10
synclimit=5
clientport=2181
datadir=/home/elsearch/zk/data
server.1=192.168.1.123:2888:3888
server.2=192.168.1.131:2888:3888
server.3=192.168.1.139:2888:3888

kafka配置 server.properties  ./kafka/bin/kafka-server-start.sh -daemon   kafka/config/server.properties

broker.id=2

#port=9092
host.name=ka2
listeners=plaintext://ka2:9092
advertised.listeners=plaintext://ka2:9092
log.dirs=/home/elsearch/kafka/kafka-logs
# 注意這裡的是kafka的儲存目錄。並不是存放日誌的目錄，當你啟動kafka的時候，會自動在當前目錄下生成乙個log專門存放kafka的日誌檔案。如果沒有需建立
zookeeper.connect=192.168.1.139:2181,192.168.1.131:2181,192.168

ELK集群搭建

一般我們需要進行日誌分析場景 直接在日誌檔案中 grep awk 就可以獲得自己想要的資訊。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔 文字搜尋太慢怎麼辦 如何多維度查詢。需要集中化的日誌管理，所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統，將所有節點上的...

ELK集群搭建

一 複製虛擬機器 二 修改主機名和主機列表 1 網路位址 2 主機名 1 hostnamectl set hostname test01 2 vi etc hostname 內容修改為test01 3 主機列表 1 vi etc hosts 內容增加 主機的ip位址 主機名 三 配置免密登入 1 s...

ELK集群搭建

1 先關閉虛擬機器 右擊複製 修改名稱 mac位址選擇 為所有網絡卡重新生成mac位址 複製兩個 2 開啟複製到虛擬機器 輸入使用者名稱 密碼登入 複製到虛擬機器使用者名稱密碼和原虛擬機器一樣 輸入vi etc sysconfig network scripts ifcfg enp0s3修改ip位址...