logstash 安裝配置

2021-10-04 02:00:43 字數 1447 閱讀 6952

logstash-7.2.0

解壓到指定目錄

如果不做任何優化,現在就可以執行

bin/logstash -f config/logstash.conf
logstash.conf是你收集日誌的配置檔案,關於這個檔案的配置,之後會簡單介紹幾篇

如果只是簡單測試,或是自己玩一玩,是可以不做優化的

1)在jvm層面優化

近如config目錄,有乙個jvm.options檔案

vim config/jvm.options
修改如下,(根據自己的機器自行調整大小)

-xms8g

-xmx8g

2)持久化

預設傳輸的日誌佇列是存放在記憶體的,如果在傳輸過程中,出現問題,已經到達logstash,而又未到達es(或其他地方)的資料就會丟失,所以建議將資料持久化到磁碟,資料才會更安全

修改config下的logstash.yml

vim config/logstash.yml
更改內容如下:

queue.type: persisted

path.queue: /opt/logstash/data

queue.page_capacity: 512mb

queue.max_bytes: 16gb

queue.type: persisted,persisted就是將佇列儲存到磁碟,預設是memory,這個配置就是將資料存到記憶體中

path.queue: /opt/logstash/data,佇列儲存路徑;如果佇列型別為persisted,則生效

queue.page_capacity: 512mb #隊列為持久化,單個佇列大小 ,根據需要自行修改大小

queue.max_bytes: 16gb #佇列最大容量,根據需要自行修改大小

下面幾個根據需要自行修改:

queue.max_events: 0 #當啟用持久化佇列時,佇列中未讀事件的最大數量,0為不限制

queue.checkpoint.acks: 1024 #在啟用持久佇列時強制執行檢查點的最大數量,0為不限制

queue.checkpoint.writes: 1024 #在啟用持久佇列時強制執行檢查點之前的最大數量的寫入事件,0為不限制

queue.checkpoint.interval: 1000 #當啟用持久佇列時,在頭頁面上強制乙個檢查點的時間間隔

現在人工智慧非常火爆,很多朋友都想學,但是一般的教程都是為博碩生準備的,太難看懂了。最近發現了乙個非常適合小白入門的教程,不僅通俗易懂而且還很風趣幽默。所以忍不住分享一下給大家。點這裡可以跳轉到教程。

logstash安裝配置

logstash是乙個資料收集引擎,它支援動態的的從各種資料來源獲取資料,並對資料進行過濾,分析,豐富,統一格式等操作,然後儲存到使用者指定的位置。具體內容可看官網 系統 centos7.2 1.在 etc yum.repos.d 下新建logstash.repo 配置yum源位址 內容如下 2.直...

Docker安裝logstash,配置多管道

docker安裝logstash首先需要知道logstash的目錄結構如下圖 以下配置能在kibana檢視logstash狀態 xpack.monitoring.enabled true xpack.monitoring.elasticsearch.username logstash46 xpack...

的安裝配置 Manjaro Linux安裝配置

安裝wmtools 1.解除安裝舊版本 sudo pacman r open vm tools git clone 3.執行指令碼進行安裝 cd vmware tools patches sudo patched open vm tools.sh 安裝vim sudo pacman s vim 更新...