背景:
最近在做日誌收集,用到elasticsearch作為儲存層,因為日誌量比較大,一天近2t,所以每時每刻都會有大量的插入操作。又由於是給開發人員查日誌使用,所以查詢的量比較小。
受限於儲存空間,目前僅保留7天的日誌,多數為乙個業務模組乙個索引,按天切分索引。
關於索引和型別的取捨,建立多個索引還是乙個索引下多個型別
乙個索引建立多少個分片,多少個副本
上面說的日誌量大小並沒有很明確的限定,需要根據elasticsearch部署的機器配置,elasticsearch啟動時候配置的引數來決定。通常來說,按照乙個分片10g~20g是合適的,即使給elasticsearch分配了最大的30-32g的jvm heap,最大的分片也不要超過30g[3]。
先了解elasticsearch中資料型別[6],合理安排索引中的字段
最後還得時刻注意用_cat來檢查elasticsearch的狀態[6]
[2][3]
[6]
elasticsearch 建立索引
介紹 分詞器 analyzer 包括乙個分解器 tokenizer 和多個詞元過濾器 filter 詞元過濾器的作是對分詞器提取的詞元進一步處理,比如轉成小寫,使用edge ngram,同義詞等,處理之後成為索引詞 term 文件正包含了幾個這樣的term成為frequency 詞頻 分解器 tok...
Elasticsearch 索引例項
elasticsearch包含了一系列的感念,比如索引 indexing 搜尋 search 以及聚合 aggregations 現在我們主要介紹indexing。在elasticsearch中,文件歸屬於一種型別 type 而這些型別存在於索引 index 中,我們可以畫一些簡單的對比圖來模擬傳統...
Elasticsearch 倒排索引
elasticsearch 使用一種稱為倒排索引的結構,它適用於快速的全文搜尋。乙個倒排索引由文件中所有不重複詞的列表構成,對於其中每個詞,有乙個包含它的文件列表。假設我們有兩個文件,每個文件的 content 域包含如下內容 the quick brown fox jumped over the ...