Filebeat 日誌收集器 安裝和配置

filebeat

風來了.fox

.co/downloads/beats/filebeat

這裡選擇 linux 64-bit 即方式一

方式一：原始碼

wget 

.co/beats/filebeat/filebeat-1.3
.0-x86_64.tar
.gztar -zxvf filebeat-1.3
.0-x86_64.tar
.gz

curl -l -o 

.co/beats/filebeat/filebeat_1.3
.0_amd64.deb
sudo dpkg -i filebeat_1.3
.0_amd64.deb

curl -l

-o .co/beats/filebeat/filebeat-1.3.0-x86_64.rpm
sudo rpm -vi filebeat-
1.3.0
-x86_64
.rpm

curl -l

-o .co/beats/filebeat/filebeat-1.3.0-darwin.tgz
tar -xzvf filebeat-
1.3.0
-darwin
.tgz

1）elasticsearch和logstash 在不同的伺服器上,只傳送資料給logstash

2）監控nginx日誌

3）監控支付日誌

4）監控訂單日誌

編輯filebeat.yml

vim filebeat.yml

filebeat: 

prospectors:
-      paths:
-/var/log/*.log
input_type: log

...其他部分沒有改動，不需要修改

paths：指定要監控的日誌，目前按照go語言的glob函式處理。沒有對配置目錄做遞迴處理，比如配置的如果是：

/var/log/* /*.log

2. input_type：指定檔案的輸入型別log(預設)或者stdin。

3. document_type：設定elasticsearch輸出時的document的type欄位，也可以用來給日誌進行分類。

把 elasticsearch和其下的所有都注釋掉（這裡filebeat是新安裝的，只注釋這2處即可）

output:

#elasticsearch:
#   hosts: ["localhost:9200"]

logstash:

hosts: ["10.1.5.65:5044"]

這個是預設檔案位置，如果不存在請自行查詢

vim /etc/logstash/conf.d/beats-input.conf

input 

}

./filebeat -e

-c filebeat.yml -d
"publish"

如果是elasticsearch可以瀏覽：http://localhost:9200/_search?pretty 如果有新內容返回，表示ok

測試正常後，ctrl+c結束

nohup ./filebeat -e

-c filebeat.yml >/dev/null
2>&
1&

查詢程序 id

ps -ef |grep filebeat

kill -9  id

在kibana裡，建立乙個索引，注意pattern為：filebeat-*

預設的elasticsearch需要的index template在安裝filebeat的時候已經提供，路徑為/etc/filebeat/filebeat.template.json，可以使用如下命令裝載該模板：

如果執行成功則返回如下，表示模板已被接收

JVM垃圾收集器之CMS收集器

cms concurrent mark sweep 收集器是一種以獲取最短 停頓時間為目標的收集器。1 cms使用的演算法 cms使用的演算法為 標記 清除 演算法 2 執行過程4步驟 a 初始標記 cms initial mark b 併發標記 cms concurrent mark c 重新標記...

並行收集器

預設情況下伺服器上選擇並行收集器。1 並行收集器 這裡也稱為吞吐量收集器 是類似於序列收集器的分代收集器 主要區別在於多個執行緒用於加速垃圾收集。使用命令列選項啟用並行收集器 xx useparallelgc。2 可以使用命令列選項控制垃圾收集器執行緒的數量 xx parallelgcthreads...

垃圾收集器（五） G1收集器

初始標記，標記gc roots直接關聯的物件，新增tams標記 兩個指標 stw 併發標記，從gc roots沿著引用關係查詢，如果使用者執行緒同時修改了引用關係，新增satb標記 此時的新物件分配到tams標記之外的區域 併發。最終標記 處理satb標記，stw 篩選 按照 價值進行 對於乙個re...