配置三颱伺服器組成的ELK集群（二）

2021-09-19 21:25:03 字數 3915 閱讀 7263

五、安裝logstash：

本案的logstash安裝在10.113.130.117上；燃鵝，logstash也可以利用多台組成集群，如果未來單台處理不過來，可以把logstash擴充套件到其他伺服器上。

將logstash.tar.gz解壓到指定目錄：

#


tar -zxvf logstash-5.4.1.tar.gz -c /opt/ 


#mv /opt/logstash-5.4.1/ /opt/logstash/
logstash三種啟動方式，靠引數進行選擇：-e sting型別啟動，-f 指定配置檔案啟動，服務啟動。

但我們沒有通過yum安裝，暫時無法以服務方式啟動——需要編寫啟動指令碼。 

建立簡單的配置檔案：

#


cd /opt/logstash/config


#cp sample.conf es-cluster.conf 


#vim /opt/logstash/config/es-cluster.conf


#參考下面的配置資訊，logstash啟動後讀取/var/log/messages的檔案內容


input}#


然後將檔案內容傳送給elasticsearch的目標伺服器


output }
完成配置修改後，先啟動logstash，看一下運**況：

#


/opt/logstash/bin/logstash -f /opt/logstash/config/es-cluster.conf &


#如果看到如下資訊，表示啟動成功：


[info ][logstash.outputs.elasticsearch] new elasticsearch output 


[info ][logstash.pipeline] starting pipeline 


[info ][logstash.pipeline] pipeline main started


[info ][logstash.agent] successfully started logstash api endpoint
六、安裝filebeats

當logstash安裝完成後，要實現從應用伺服器上收集日誌的工作，這個工作如果使用logstash來執行，也是沒有問題的。

在應用伺服器上，按照以上安裝logstash的操作和配置就可以達到目的；但是logstash安裝繁瑣，而且如果僅僅作為收集日誌的**，未免太重。

因此選擇官方推薦的filebeats作為勤勞的工蜂，實現指定檔案的掃瞄、檔案內容的收集和傳送工作。

讓我們看看是不是在5分鐘內能完成filebeats的安裝配置吧：

#


curl -l -o 


#rpm -vi filebeat-5.4.1-x86_64.rpm
修改配置檔案：

#


vim /etc/filebeat/filebeat.yml 


filebeat.prospectors: 


-input_type: log 


paths:


- /ane/tomcat/logs/*.log


#- /ane/tomcat/logs/*.out


input_type: log 


#----------------------------- logstash output --------------------------------


output.logstash:  #


the logstash hosts


hosts: ["


10.113.130.117:5044"]


worker: 4
配置了日誌輸出到logstash之後，建議注釋掉輸出到elasticsearch的部分。

啟動filebeats：

- for


centos：


#systemctl start filebeat


- for redhat 6.5：


#service filebeat start
如果採用了filebeat收集日誌檔案，則可以關閉logstath的檔案讀取，從指定的埠讀取資料流。

登入到logstash的伺服器（10.113.130.117），修改logstash的配置檔案為如下內容：

#


vim /opt/logstash/config/es-cluster.conf


input


beats


}output


"document_type => "%"


}}
修改完以後，重啟logstash。

請注意乙個細節：logstash-%，不能寫成，不然第二天以後的日期顯示不正確！下面展示寫錯的情況：

上面圖中的logstash-2017.06.170，是6月18日的日誌檔案的彙總標題。前一天（17日）是正確的，次日就這樣了。

七、安裝kibana

#


tar -zxvf kibana-5.4.0-linux-x86_64.tar.gz -c /opt/


#mv /opt/kibana-5.4.0-linux-x86_64 /opt/kibana/


#cd /opt/


# chown -r elasticsearch:elasticsearch kibana
修改配置檔案

# cd kibana/


#vim config/kibana.yml


#修改如下選項：


server.port: 5601server.host: 「0.0.0.0」


elasticsearch.url: 「10.113.130.116:9200」


kibana.index: 「.kibana」


pid.file: /var/run/kibana.pid
由於kibana資料夾的所有者為elsticsearch，執行也要以elsticsearch使用者身份。

與elsticsearch的處理方式類似，建立啟動指令碼：

#


vim kibana-start.sh


su - elasticsearch -c "


nohup /opt/kibana/bin/kibana> /dev/null 2>&1 &"#


chmod +x kibana-start.sh


#mv kibana-start.sh /usr/local/bin


#kibana-start.sh
kibana啟動以後，在瀏覽器輸入可以看到如下頁面：

八、安裝elastichd

elastichd 是一款 elasticsearch的視覺化應用。不依賴es的外掛程式安裝，更便捷；導航欄直接填寫對應的es ip和埠就可以操作es了。目前支援如下功能：

詳見： 

#


unzip ***_elastichd_***.zip


# mv elastichd /opt/


#chmod 777 elastichd
可指定ip埠執行elastichd

#


/opt/elastichd -p 10.113.130.116:9800 &
同樣，推薦將上方的啟動命令，製作成啟動指令碼eshd-start.sh，並移動到/usr/local/bin/目錄下，可直接執行。

三颱伺服器搭建zookeeper集群

looking leading following 環境 192.9.200.130 192.9.200.159 192.9.200.160 解壓及安裝 將zookeeper壓縮包複製到linux下。1 解壓 tar xvf zookeeper 3.53.tar.gz 注意 解壓的時候引數不要用zx...

三颱伺服器SSH配置

環境 現在已經配置好了三颱linux虛擬伺服器，分別是 192.168.116.10 redone 192.168.116.11 redtwo 192.168.116.12 redthree 首先登陸一台節點，以root許可權登入。配置ssh 一般linux系統是自帶安裝ssh服務的，對於沒有安裝s...

伺服器集群控制僅有一台伺服器執行任務

定時任務 批處理任務 設計不合理的反面教材 曾經使用spring batch批處理框架的tasklet進行批處理任務，使用redis鎖進行併發控制，在任務開始前使用redis的setnx命令往redis中插入值，任務結束後刪除值，任務只有在當前redis中不存在值時才執行啟動。設計不合理之處 存在單...