es配置檔案
xpack.security.enabled: true #允許安全驗證
bootstrap.memory_lock: true #開啟記憶體鎖,防止使用交換分割槽
bootstrap.system_call_filter: false #重啟時系統禁止呼叫過濾器
transport.tcp.compress: true #設定壓縮tcp傳輸時的資料
logstash配置檔案
pipeline.workers: 4
cpu核心數(或幾倍cpu核心數)
該引數可控制
output
或filter
外掛程式的工作執行緒數(只能設定正整數),當發現事件
正在備份或
cpu沒有飽和,則可以增加工作執行緒,以提高效能。cup個數*單個cup核數
pipeline.batch.size: 1000
設定批量執行
event
的最大值,該值是用於
input
的批量處理事件值,再打包傳送給
filter
和output
,增加該值可以在一定範圍內提高效能,但是需要增加額外的記憶體開銷。
pipeline.batch.delay: 10
批處理的最大等待值(
input
需要按照
batch
處理的最大值傳送到訊息佇列,但是不能一直等,所以需要乙個最大的超時機制)。
kafka簡單調優
1 batch.size 預設是16384byte,也就是16kb,生產者傳送多個訊息到broker上的同乙個分割槽時,為了減少網路請求帶來的效能開銷,通過批量的方式 來提交訊息,可以通過這個引數來控制批量提交的位元組數大小,意味著當一批訊息大小達到指定的batch.size的時候會統一傳送。2 l...
ELK簡單問答
elasticsearch是乙個支援分布式儲存以及全文索引的資料庫,可用於儲存非結構化資料並能快速檢索關鍵字。比較適用於儲存日誌記錄。問題1 elasticsearch是如何分布式儲存資料的?elasticsearch會從所有節點中推舉出乙個master節點,master節點負責建立或者刪除索引,新...
單調棧與單調佇列簡單例題
poj3250 題意 有n只奶牛排成一列向右看,每頭奶牛只能看到比自己矮的奶牛,即會被高的奶牛擋住後面,問共有多少只奶牛能被看到 思路 考慮每頭奶牛能被前面牛看到的次數,也就是從他左邊開始單調遞減的序列的長度,用單調棧維護即可 include includeusing namespace std c...