本來這塊業務 是放到solrcloud上去的 ， 然後 採用solr的facet統計查詢，
具體**參考之前寫的文章：
最近遇到solrcloud 遇到一些問題。。查詢db時間過長，solrcloud的長連線cloudsolrserver老timeout，索引的效率也不夠滿
意。為了穩定，暫時先還原solr單機版本（上線時，被運維打回來了）。
搜尋日誌就用elasticsearch實時去處理。
大概流程：
基於日誌系統elk 的原型下，參考elk處理nginx日誌文章：
還是用logstash正則去解析搜尋日誌。搜尋日誌採用log4j生成，logstash檢測到傳遞給elasticsearch。
新增logstash_search.conf:
input
}filter \|\\}"]}
kv date
}output "}}
詞是採用單字分詞的。
結構如下：
啟動logstash：
nohup bin/logstash -f conf/logstash_search.conf &可以馬上在elasticsearch的外掛程式上看到該搜尋行為日誌的資料索引。這就是elk的實時性了。
* 初始化索引
* @param client
* @param indexname
* @param indextype
* @param cols
* @return 初始化成功,返回true；否則返回false
* @throws exception
*/if(stringutil.isempty(indexname) || stringutil.isempty(indextype))
indexname = indexname.tolowercase();
indextype = indextype.tolowercase();
//判斷索引庫是否存在
if(indice***ists(client, indexname)) else
type***istsrequest ter = new type***istsrequest(new string, indextype);
boolean typeexists = client.admin().indices().type***ists(ter).actionget().i***ists();
if(typeexists)
//定義索引字段屬性
for (columninfo col : cols) else if("long".equals(coltype)) else if("date".equals(coltype)) else
}return response.isacknowledged();
}
開源實時日誌分析ELK
2018 01 04 開源實時日誌分析elk平台部署 日誌主要包括系統日誌 應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾正錯誤。通常，日誌被分散的儲存不同的裝置上。如...
QT迴圈佇列實時處理資料（二）
qt通過socket通訊，從接收緩衝區中讀取資料，交給執行緒進行處理，那麼問題來了，如果執行緒還沒有處理完資料，則執行緒就沒有辦法繼續從緩衝區中取數，那麼當資料量過大的時候，緩衝區會滿，繼而被覆蓋，從而造成資料的丟失。那麼如何將資料儲存在某個特定的空間內，並且讓其他執行緒進行讀取。這個是執行緒通訊的...
sprinboot整合elk，搭建實時日誌平台
本文出自方志朋的部落格 logstash是乙個完全開源的工具，他可以對你的日誌進行收集 過濾，並將其儲存供以後使用 如，搜尋 kibana 也是乙個開源和免費的工具，它kibana可以為 logstash 和 elasticsearch 提供的日誌分析友好的 web 介面，可以幫助您彙總 分析和搜尋...