參考:
logstash可以配置多個pipeline,每乙個pipeline設定不同的引數,包括讀取的conf;
也可以配置乙個pipeline,讀取多個conf,其讀取多個conf,實際上是把它們合併一起,所以,conf裡面需要寫上type,通過type來判斷寫入那個索引。
logstash.yml的配置修改如下:
logstash.yml的設定:
# pipeline.id: main
pipeline.id: d_bzdz
## path.config:
path.config: "/map/es/soft/logstash-7.6.2/config/myconfig/*.conf"
執行的時候就不需要 -f conf引數。
執行 ./bin/logstash
# sample logstash configuration for creating a ******
# beats -> logstash -> elasticsearch pipeline.
input
jdbc
}filter "]
add_field => ["[location][lon]","%"]
} ruby
ruby
mutate
} }output"
} stdout
} }
Logstash 多個配置檔案(conf)
logstash 多個配置檔案 conf 對於多個配置的處理方法,有多個處理方法 乙個pipeline含有乙個邏輯的資料流,它從input接收資料,並把它們傳入到佇列裡,經過worker的處理,最後輸出到output。這個output可以是elasticsearch或其它。下面針對這兩種情況,來分別...
Logstash 處理多個input
我們知道logstash的架構如下 它的整個pipleline分為三個部分 input外掛程式 提取資料。這可以來自日誌檔案,tcp或udp偵聽器,若干協議特定外掛程式 如syslog或irc 之一,甚至是排隊系統 如redis,aqmp或kafka 此階段使用圍繞事件 的元資料標記傳入事件。fil...
Logstash 參考指南(多個管道)
如果需要在同一程序中執行多個管道,logstash提供了一種通過名為pipelines.yml的配置檔案完成此操作的方法,這個檔案必須放在path.settings資料夾,並遵循此結構 pipeline.id my pipeline 1 path.config etc path to p1.conf...