MongoDB日誌處理 五

生產環境有大概7千萬的資料要入mongodb庫,在入庫的過程中發現shard分片集群的日誌很大,大概有幾個g的大小;這樣檢視很不方便,顯然也不是很合理;

1.編寫shell指令碼: mongolog.sh

#!/bin/bash

#把path新增進來 讀者可以使用$path 檢視自己機器的路徑,
#這裡也可以不用path,那麼啟動的時候就要指定mongo的全路徑;
export path=/opt/mongodb/bin:/usr/sbin:/usr/bin:/root/bin 
#啟動mongo shard節點  eof#使用admin庫
use admin
#登入db.auth("root","root")
#此命令是重新生成日誌檔案 ,儲存原來的檔案
db.runcommand(  )
#結束exit;
eof

輸入

crontab -e

編輯指令碼執行策略:

0 1 * * * sh /root/mongolog.sh

config集群和路由集群 同理;

MongoDB慢日誌分析

在 mysql中，慢查詢日誌是經常作為我們優化資料庫的依據，那在mongodb中是否有類似的功能呢?答案是肯定的，那就是mongo database profiler.不僅有，而且還有一些比mysql的slow query log更詳細的資訊。它就是我們這篇文章的主題。開啟 profiling 功能...

Flume儲存日誌到MongoDB

然後放到 usr local 目錄下解壓 tar zxvf apache flume 1.5.2 bin.tar.gz 定義元件名稱 agent2.sources source2 agent2.sinks sink2 agent2.channels channel2 定義資料入口 agent2.so...

使用MongoDB儲存Docker日誌

日誌是系統很重要的乙個組成部分，通過日誌可以及時發現系統中存在的問題，也可以為修復問題提供線索。docker提供了多種外掛程式方式管理日誌，本文就對使用mongodb儲存docker日誌的過程做個記錄。docker產生的日期 傳送到 fluentd，然後fluentd在轉存到mongodb。前提 作...