ES索引生命週期管理一

2022-06-21 18:00:10 字數 1269 閱讀 5709

es從6.7版本推出了索引生命週期管理(index lifecycle management ,簡稱ilm)機制,能幫我們自動管理乙個索引策略(policy)下索引集群的生命週期。索引策略將乙個索引的生命週期定義為四個階段

索引策略控制這乙個索引的生命從hot -> warm -> cold -> delete 階段,每個階段都可以配置不同的轉化行為(action)。下面我們看下幾個常用的action:

三步實現完成es生命週期管理

配置策略(policy)、索引模版(template)、索引(index)

1、配置策略

put _ilm/policy/ehr_prod_log_policy}},

"delete": }}

}}}

兩個階段,hot和delete;

索引超過30g,則執滾動;

delete階段,超過30天執行刪除動作。

2、索引模版(template)

put _template/ehr_prod_log_template

}

kafka中topic名稱ehr-prod-log,這裡對應定義別名「ehr-prod-log-rollover」,logstash配置會用到。

3、索引(index)

put ehr-prod-log-rollover-00000001

}}

4、logstash使用ilm

output 

}

實戰中,通過logstash將日誌從kafka採集到es,index => "ehr-prod-log-rollover",這裡使用別名,與之對應。

則在es中對應生成對應索引,ehr-prod-log-rollover-0000000n,而對外使用別名即可。

5,驗證

post ehr-prod-log-rollover-00000001/_doc

用以下命令檢視索引rollover進度。

get ehr-prod-log-rollover-*/_ilm/explain

參考:

ES索引生命週期管理配置的關鍵點

索引的生命週期策略是elk中非常有意義的功能,一般用於熱 hot 溫 warm 冷 clod 資料的索引和分片管理,以及定期刪除過期的資料,以確保es的健康執行。劃重點 生命週期有四個重要階段 hot 索引需被頻繁的寫入和查詢 快 warm 索引不可寫入,但是仍需查詢 中 cold 索引不可寫入,很...

(八)索引的生命週期管理

六 索引的增刪改查 我們可以使用索引生命週期管理api ilm實現管理。elasticsearch索引生命週期管理指 從設定 建立 開啟 關閉 刪除的全生命週期過程的管理 hot 正在寫入和查詢索引。warm 索引不再寫入資料,但仍在查詢中。cold 不再更新索引,很少查詢。資訊仍然需要可搜尋,但是...

Phoenix 索引生命週期

本文主要介紹phoenix索引狀態的生命週期,幫助大家解惑 為什麼我的phoenix索引不能正常使用了?索引總共有以下幾個狀態,其狀態資訊儲存在system.catalog表中。可以通過以下sql來檢視所有索引表資訊 sql中欄位 local 2 usable e unusable d active...