ELK logstash 動態指定動態模板

基於 es: 7.10.x

通過logstash寫到es的資料，es 預設匹配logstash*的模板， 並且 索引( index )名稱也會自動加上logstash-, 預設的 logstash 模板為:

get

/_template/logstash},
:,:"string"}}
,}},
:"string"
,"match"
:"*"}}
],"properties":,
"geoip":,
"latitude":,
"location":,
"longitude":}
},"@version":}
},"aliases":}
}

建立乙個名稱為tpl-boot.json的檔案, 主要是為了區別 logstash 模板, 動態模板可以自己改， 確保這個模板可執行正確，不然logstash會建立失敗:

xiao@z:/opt/soft/lib/dc/elk/data/logstash/tpl$ cat tpl-boot.json 

},"dynamic_templates" : [,}
},}
},"match" : "*"}}
],"properties" : ,
"geoip" : ,
"latitude" : ,
"location" : ,
"longitude" : }},
"@version" : }}
}

xiao@z:/opt/soft/lib/dc/elk/data/logstash/config$ cat logstash.conf 

input 
redis 
//監聽
tcptype => boot
}}output -%"}}
else if [type] == "boot""
//true,代表交給logstash管理模板，false,使用自定義
manage_template => true
template => "/usr/share/logstash/config/tpl/tpl-boot.json"
template_name => "tpl-boot.json"
template_overwrite => true}}
//預設輸出到控制台
stdout 
}

[logstash.outputs.elasticsearch][main] attempting to install template 

},"dynamic_templates" => [,
}}, }},
}}],
"properties" => , "geoip" => ,
"latitude" => , "location" => , "longitude" => }},
"@version" => 
}}}}

ELK logstash基本用法

一 logstash介紹 logstash在elk系統中為資料儲存，報表查詢和日誌解析建立了乙個功能強大的管道鏈。logstash提供了多種多樣的 input,filters,codecs和output元件，logstash由以下三部分組成 input資料輸入端，可以接收來自任何地方的源資料 1 f...

ELK Logstash安裝與配置

使用yum安裝 編輯 repovim etc yum.repos d elasticsearch.repo 內容如下 elasticsearch 6.x name elasticsearch repository for 6.x packages baseurl co packages 6.x yu...

ELK logstash過濾外掛程式Grok的使用

如果業務專案都能夠按照json格式輸出的話那麼處理起來會很容易，那麼使用之前的json外掛程式就可以快速解析為結構化的資料。但是有些日誌的格式就不符合json格式也不能自定義，那麼kv json外掛程式就用不到的。grok外掛程式可以支援正則，能夠從非結構化的日誌當中提取出關鍵字段，負責將非結構化資...