EFK專案操作 待完善

2022-05-05 11:42:13 字數 3196 閱讀 6696

environment：

此步驟不為關鍵：用md5檢視kafka和zookeeper是否安裝

md5sum /usr/local/src/kafka_2.11-2.2.0.tgz


md5sum /usr/local/src/zookeeper-3.4.14.tar.gz
進入配置檔案，並拷貝新資料夾，編輯配置檔案

cd  conf/


cp zoo_sample.cfg  zoo.cfg


編輯zoo.cfg檔案


vim zoo.cfg
ticktime=2000

initlimit=10

synclimit=5

datadir=/usr/local/zookeeper/zkdata   　　#修改此檔案路徑，上一步建立的zkdata資料夾

datalogdir=/usr/local/zookeeper/zkdatalog　　#新增資料日誌的資料夾

clientport=2181

server.1=192.168.189.172:2888:3888　　#此步驟為三颱虛擬機器的ip以及埠

server.2=192.168.189.139:2888:3888

server.3=192.168.189.128:2888:3888

三颱機器桉步驟依次填入序號

echo '1' > /usr/local/zookeeper/zkdata/myid


echo '2' > /usr/local/zookeeper/zkdata/myid


echo '3' > /usr/local/zookeeper/zkdata/myid


cat /usr/local/zookeeperzkdata/myid


檢視各個機器的id值
三颱機器配置檔案操作完成，下面進入啟動程式

cd /usr/local/zookeeper/bin/


./zkserver.sh start
啟動完成後可以檢視本機的身份（關閉防火牆）

./zkserver.sh  status
注意，機器連通需要關閉相關防火牆

效果如下： 此處有乙個leader 和 兩個 follower

啟動kafka

cd  /usr/local/kafka/bin/config


vim server.properties
eg:三颱機器各自安配id  ，kafka01、2、3:9092   

broker.id=3


advertised.listeners=plaintext://kafka03:9092


zookeeper.connect=192.168.189.172:2181,192.168.189.139:2181,192.168.189.128:2181



vim /etc/hosts


#尾部新增主機三颱機器均執行此步驟


192.168.189.172 kafka01


192.168.189.139 kafka02


192.168.189.128 kafka03
進入目錄開啟kafka服務

cd /usr/local/kafka/bin/

./kafka-server-start.sh -daemon ../config/server.properties
檢視是否有9092埠，有代表服務開啟

建立主題埠

cd  /usr/local/kafka/bin/


./kafka-server-start.sh 


./kafka-server-start.sh -daemon ../config/server.properties


./kafka-topics.sh --create --zookeeper 192.168.189.128:2181 --replication-factor 2 --partitions 3 --topic wg007


./kafka-topics.sh --list --zookeeper 192.168.189.128:2181　　#檢視建立的主題名稱
建立虛擬使用者下單以及接單（簡明來說：一台機器輸入，另一台機器可顯示其輸入的內容）

./kafka-console-producer.sh --broker-list 192.168.189.128:9092 --topic wg007
第二台機器連線第一台機器，用以檢視第一台機器輸入的內容

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.189.172:9092 --topic logstash --from-beginning
二、filebeat端 web介面顯示的服務（filebeat）

1、編輯filebeat的yum源

vim /etc/yum.repos.d/filebeat.repo


yum -y install filebeat
yum源配置檔案如下

vim /etc/filebeat/filebeat.yml
此步驟為要監控的服務的日誌，本機器監控nginx　

diff命令 待完善

diff命令在最簡單的情況下，比較給定的兩個檔案的不同。如果使用 代替 檔案 引數，則要比較的內容將來自標準輸入。diff命令是以逐行的方式，比較文字檔案的異同處。如果該命令指定進行目錄的比較，則將會比較該目錄中具有相同檔名的檔案，而不會對其子目錄檔案進行任何比較操作。來自 diff命令在最簡單的情...

頁面效能 待完善

本文是學習慕課網上課程前端跳槽面試必備技巧的學習筆記，便於之後複習。本文說明頁面效能的方法 資源壓縮合併，減少http請求 非核心 非同步載入 非同步載入的方式 非同步載入的區別 利用瀏覽器快取 很關鍵的一步 快取的分類 快取的原理 使用cdn 預解析dns 標籤在很多瀏覽器中預設開啟預解析 如果是...

Windows HOOK總結 待完善

安裝鉤子 hhook winapi setwindowshookex 1,鉤子型別 in int idhook,2,函式位址，即掛鉤型別事件發生時，系統應該呼叫的函式 in hookproc lpfn,3,標識乙個dll，這個dll中包含第二個引數表示的函式 例項控制代碼 in hinstance ...