Logstash寫入MongoDB資料庫

1. 列出logstash-plugins

bin/logstash-plugin list

******

logstash-output-nagios

logstash-output-null

logstash-output-pagerduty

logstash-output-pipe

logstash-output-rabbitmq

logstash-output-redis

******

2. 根據output格式安裝mongodb的output的plugin

bin/logstash-plugin install logstash-output-mongodb

3. 配置logstash的output配置檔案

mongodb "}

uri => "
mongodb://asrlog-1:27017
"database => "
service
"collection => "
trace_log
"}

4. 重啟logstash

注意：即便是之前如下方式啟動的logstash，也需要重啟logstash，畢竟重新安裝了output plugin（此處糾結了好一陣子。。。。。）

bin/logstash -f config/logstash-onlne.yml --config.reload.automatic &

5. 登入mongodb，驗證資料是否寫入。

親測可行，能夠寫入成功。

參考：

不當之處，歡迎大神不吝賜教。

Bash監控Logstash寫入HDFS效能指令碼

我們通過這五個方面來進行監控 寫入hdfs檔案的大小 cpu使用率 記憶體使用率 namenode程序的cpu 記憶體使用率和datanode程序的cpu 記憶體使用率。1 hdfs檔案大小 bin bash 獲取寫入檔案的大小 單位為b path size hadoop fs count awk ...

golang的mongo批量寫入壓測

在實際生產環境下，某場景下，數以千萬乃至上億的資料會批量落入db，nosql，而根據資料的ttl過期，會在某個多久之後的時間給這批資料del.加入每天9點都在批量insert all，而前n天的資料恰好在這個時間節點 n天後的9點 ttl過期，觀察db的io負載，會急速飈上去，io打的很高，甚至到1...

Mongo 利用副本集在寫入時自動選擇主庫

假定集群有三颱機器，分別位於m1.xx.com,m2.xx.com,m3.xx.com上，我們不能在連線串中直接寫死主庫的機器，因為主庫的機器在集群中隨時有可能通過故障切換而轉移而變化。所以希望能夠自動感知主庫的資訊，具體方法是在連線時指定replicaset引數。這樣驅動可以幫我們尋找可寫的那台機...