EFK kafka集群實戰

2022-06-25 04:30:15 字數 384 閱讀 9187

業務層可以直接寫入到kafka佇列中,不用擔心elasticsearch的寫入效率問題

架構圖:

1、kafka是乙個訊息佇列伺服器,kafka服務又稱為broker,訊息傳送者稱為producer,訊息接收者稱為consumer,

2、訊息以topic的形式傳送到broker,消費者訂閱topic,實現按需取用的消費模式

3、建立topic需要指定replication-factor(複製數目,通常=broker數目);每個topic可能有多個分割槽(partition),每個分割槽的訊息內容不會重複

上圖中:日誌為生產者,es為消費者

Zookeeper集群搭建實戰

環境依賴 使用centos7.5 使用如下三颱伺服器 192.168.43.128,192.168.43.129和192.168.43.130 1 zookeeper安裝 tar zxvf zookeeper 3.4.12.tar.gz c opt cd opt mv zookeeper 3.4.1...

087實戰 集群的規模

1.整體規模 2臺 namenode ha,resourcemanager ha,hmaster ha 10臺 datanode,nodemanager,journalnode,regionserver 1臺 hive,sqoop,oozie,hue 3臺 zookeeper 2.記憶體以及cpu ...

Zookeeper實戰之單機集群模式

前一篇文章介紹了zookeeper的單機模式的安裝及應用,但是zookeeper是為了解決分布式應用場景的,所以通常都會執行在集群模式下。今天由於手頭機器不足,所以今天打算在一台機器上部署三個zookeeper服務來組成乙個zookeeper集群。這裡解壓zookeeper的安裝包到 opt目錄下,...