業務層可以直接寫入到kafka佇列中,不用擔心elasticsearch的寫入效率問題
架構圖:
1、kafka是乙個訊息佇列伺服器,kafka服務又稱為broker,訊息傳送者稱為producer,訊息接收者稱為consumer,
2、訊息以topic的形式傳送到broker,消費者訂閱topic,實現按需取用的消費模式
3、建立topic需要指定replication-factor(複製數目,通常=broker數目);每個topic可能有多個分割槽(partition),每個分割槽的訊息內容不會重複
上圖中:日誌為生產者,es為消費者
Zookeeper集群搭建實戰
環境依賴 使用centos7.5 使用如下三颱伺服器 192.168.43.128,192.168.43.129和192.168.43.130 1 zookeeper安裝 tar zxvf zookeeper 3.4.12.tar.gz c opt cd opt mv zookeeper 3.4.1...
087實戰 集群的規模
1.整體規模 2臺 namenode ha,resourcemanager ha,hmaster ha 10臺 datanode,nodemanager,journalnode,regionserver 1臺 hive,sqoop,oozie,hue 3臺 zookeeper 2.記憶體以及cpu ...
Zookeeper實戰之單機集群模式
前一篇文章介紹了zookeeper的單機模式的安裝及應用,但是zookeeper是為了解決分布式應用場景的,所以通常都會執行在集群模式下。今天由於手頭機器不足,所以今天打算在一台機器上部署三個zookeeper服務來組成乙個zookeeper集群。這裡解壓zookeeper的安裝包到 opt目錄下,...