logstash-7.2.0
解壓到指定目錄
如果不做任何優化,現在就可以執行
bin/logstash -f config/logstash.conf
logstash.conf是你收集日誌的配置檔案,關於這個檔案的配置,之後會簡單介紹幾篇
如果只是簡單測試,或是自己玩一玩,是可以不做優化的
1)在jvm層面優化
近如config目錄,有乙個jvm.options檔案
vim config/jvm.options
修改如下,(根據自己的機器自行調整大小)
-xms8g
-xmx8g
2)持久化
預設傳輸的日誌佇列是存放在記憶體的,如果在傳輸過程中,出現問題,已經到達logstash,而又未到達es(或其他地方)的資料就會丟失,所以建議將資料持久化到磁碟,資料才會更安全
修改config下的logstash.yml
vim config/logstash.yml
更改內容如下:
queue.type: persisted
path.queue: /opt/logstash/data
queue.page_capacity: 512mb
queue.max_bytes: 16gb
queue.type: persisted,persisted就是將佇列儲存到磁碟,預設是memory,這個配置就是將資料存到記憶體中
path.queue: /opt/logstash/data,佇列儲存路徑;如果佇列型別為persisted,則生效
queue.page_capacity: 512mb #隊列為持久化,單個佇列大小 ,根據需要自行修改大小
queue.max_bytes: 16gb #佇列最大容量,根據需要自行修改大小
下面幾個根據需要自行修改:
queue.max_events: 0 #當啟用持久化佇列時,佇列中未讀事件的最大數量,0為不限制
queue.checkpoint.acks: 1024 #在啟用持久佇列時強制執行檢查點的最大數量,0為不限制
queue.checkpoint.writes: 1024 #在啟用持久佇列時強制執行檢查點之前的最大數量的寫入事件,0為不限制
queue.checkpoint.interval: 1000 #當啟用持久佇列時,在頭頁面上強制乙個檢查點的時間間隔
現在人工智慧非常火爆,很多朋友都想學,但是一般的教程都是為博碩生準備的,太難看懂了。最近發現了乙個非常適合小白入門的教程,不僅通俗易懂而且還很風趣幽默。所以忍不住分享一下給大家。點這裡可以跳轉到教程。
logstash安裝配置
logstash是乙個資料收集引擎,它支援動態的的從各種資料來源獲取資料,並對資料進行過濾,分析,豐富,統一格式等操作,然後儲存到使用者指定的位置。具體內容可看官網 系統 centos7.2 1.在 etc yum.repos.d 下新建logstash.repo 配置yum源位址 內容如下 2.直...
Docker安裝logstash,配置多管道
docker安裝logstash首先需要知道logstash的目錄結構如下圖 以下配置能在kibana檢視logstash狀態 xpack.monitoring.enabled true xpack.monitoring.elasticsearch.username logstash46 xpack...
的安裝配置 Manjaro Linux安裝配置
安裝wmtools 1.解除安裝舊版本 sudo pacman r open vm tools git clone 3.執行指令碼進行安裝 cd vmware tools patches sudo patched open vm tools.sh 安裝vim sudo pacman s vim 更新...