方案選擇:
方案一:可對logstash配置output引數:
如下所示:
這種方案在logstash中指定模板檔案,由logstash將template寫入es集群;
方案二:直接將template寫入es集群
通過es提供的api,將json格式的template寫入目標es集群的_template路徑,對新生成的所有符合過濾規則的索引直接套用該模板。
模板的結構大致分四塊吧:
第一部分:通用設定,主要是模板匹配索引的過濾規則,影響該模板對哪些索引生效;
第二部分:settings:配置索引的公共引數,比如索引的replicas,以及分片數shards等引數;
第四部分:aliases:索引別名,索引別名可用在索引資料遷移等用途上。
典型的乙個template如下所示:
,在這個json中可以清楚地看到四個部分,並且對string型別的fields設定了不進行預設分詞資訊。"logs": ,
"@version": ,
"exp": ,
"guid": ,
"loglevel": ,
"logtime": ,
"loggername": ,
"message": ,
"processid": ,
"stacktrace": ,
"threadid": ,
"exp": ,
"loglevel": ,
"logtime": ,
"loggername": ,
"message": ,
"processid": ,
"tags": ,
"threadid": }}
},"aliases":
}
Elasticsearch索引建議
背景 最近在做日誌收集,用到elasticsearch作為儲存層,因為日誌量比較大,一天近2t,所以每時每刻都會有大量的插入操作。又由於是給開發人員查日誌使用,所以查詢的量比較小。受限於儲存空間,目前僅保留7天的日誌,多數為乙個業務模組乙個索引,按天切分索引。關於索引和型別的取捨,建立多個索引還是乙...
elasticsearch 建立索引
介紹 分詞器 analyzer 包括乙個分解器 tokenizer 和多個詞元過濾器 filter 詞元過濾器的作是對分詞器提取的詞元進一步處理,比如轉成小寫,使用edge ngram,同義詞等,處理之後成為索引詞 term 文件正包含了幾個這樣的term成為frequency 詞頻 分解器 tok...
Elasticsearch 索引例項
elasticsearch包含了一系列的感念,比如索引 indexing 搜尋 search 以及聚合 aggregations 現在我們主要介紹indexing。在elasticsearch中,文件歸屬於一種型別 type 而這些型別存在於索引 index 中,我們可以畫一些簡單的對比圖來模擬傳統...