logstash:接收,處理,**日誌
elasticsearch:文件型資料庫,實時的分布式搜尋和分析引擎
kibana:查詢、生成報表的web gui
在安裝目錄bin資料夾裡新建乙個logstash.conf
一般配置如下:
# 輸入輸入
input }
# 資料處理
filter "]
}}# 資料輸出
output }
配置檔案語法類似ruby
input: 資料的**,一般是通過伺服器+日誌路徑的方式
filter:以何種規則從字串中提取出結構化的資訊,grok是logstash裡的一款外掛程式,可以使用正規表示式匹配日誌,上文中的%是內建的正則,用來匹配apache access日誌
預設正則:
loglevel ([a-a]lert|alert|[t|t]race|trace|[d|d]ebug|debug|[n|n]otice|notice|[i|i]nfo|info|[w|w]arn?(?:ing)?|warn?(?:ing)?|[e|e]rr?(?:or)?|err?(?:or)?|[c|c]rit?(?:ical)?|crit?(?:ical)?|[f|f]atal|fatal|[s|s]evere|severe|emerg(?:ency)?|[ee]merg(?:ency)?)output:配置儲存解析結果
其中,重點講解filter中的配置,基本格式如下,plugin都是官方提供的,針對文字做處理,比如正規表示式啊(grok),按固定的格式做切分(kv)等等。選擇正確的plugin可以更快速的幫助你解析日誌
filter
if expression
} else if expression
} else
}plugin
}
1、grok:正規表示式外掛程式,功能強大,有許多內建的pattern
2、mutate:欄位的crud操作,比如替換內容,擷取等等
mutate
add_field=>"}
remove_field=>["error_request_info"]
}
3、kv:key-value外掛程式,非常適合url引數解析一類的具有固定分隔符的日誌
#比如解析url的querystring: a=1&b=2&c=3
filter
}
4、json:將json字串直接轉換成對應的key-value
#比如日誌為:*********:******&result=:******
filter
}
#通過json encode後
5、drop:直接丟掉本行日誌,過濾不符合要求的日誌
# 特定的處理
drop {} }
Kibana配置安裝
訪問 kibana kibana是一款開源的資料分析和視覺化平台,用於和elasticsearch協作。kibana可以用來對elasticsearch索引中的資料進行搜尋 檢視和互動操作。注意 kibana的版本需要和 elasticsearch 的版本一致。執行不同主版本號的 kibana 和 ...
Kibana安裝與配置
wget co downloads kibana kibana 5.6 3 linux x86 64.tar gztar zxf kibana 5.6 3 linux x86 64.tar gz將解壓出的目錄移動到 usr local 下 mv kibana 5.6.3 linux x86 64 u...
Kibana配置項說明
etc kibana kibana.yml kibana配置項 server.port 預設值 5601 kibana 由後端伺服器提供服務,該配置指定使用的埠號。server.host 預設值 localhost 指定後端伺服器的主機位址。server.basepath 如果啟用了 指定 kiba...