使用Filebeat和Logstash集中歸檔日誌

方 案

注釋:由於logstash無法處理輸出到檔案亂序的問題，可通過不同的檔案使用不同的logstash；或者直接寫入es(不存在亂序問題)、通過flink輸出到檔案

部 署系統環境

filebeat配置

/etc/filebeat/filebeat.yml

filebeat.prospectors:
-type: log
paths:
- /home/data/log/*
- /home/data/*.log
scan_frequency: 20s
encoding: utf-8tail_files: true
harvester_buffer_size: 5485760fields:
ip_address: 192.168.2.2env: qa
output.redis:
hosts: [
"192.168.1.1:6379"]
password: 
"geekwolf
"key: 
"filebeat
"db: 0
timeout: 5max_retires: 3worker: 2bulk_max_size: 4096

logstash配置

input 

#redis
redis 
}filter 
}output /%/%/%
"flush_interval => 3codec => line "}
}} else
/%/%/logs/%
"flush_interval => 3codec => line "}
}}#stdout 
}

生產日誌目錄

├── prod

│   └── 2018-01-13│   └── 2.2.2.2│   ├── logs
│   │   ├── rpg_slow_db_.27075│   └── nohup_service.log
└── qa
├── 2018-01-12│   ├── 192.168.3.1└── 2018-01-13├── 192.168.3.2

hadoop 修改 logs路徑 和tmp路徑

修改過程 1，停掉hadoop集群。2，拷貝原始logs路徑下和tmp路徑下的內容到新的路徑下 目標路徑 其實刪除tmp路徑下內容也可以。3，修改配置檔案，hadoop env.sh和core site.xml。如後文所示 4，啟動hadoop集群。修改hadoop logs路徑 在hadoop e...

filebeat使用module收集nginx日誌

1.安裝filebeat客戶端 cat etc yum.repos.d filebeat.repo eof filebeat 6.x name elasticsearch repository for 6.x packages baseurl gpgcheck 1 gpgkey enabled 1 ...

Filebeat 日誌收集器 安裝和配置

filebeat 風來了.fox co downloads beats filebeat 目前最新版本 1.3.0 這裡選擇 linux 64 bit 即方式一 方式一 原始碼 wget co beats filebeat filebeat 1.3 0 x86 64.tar gztar zxvf f...