elasticsearch 自動刪除索引指令碼

2021-09-13 03:48:15 字數 687 閱讀 2931

指令碼

原文 背景

需要定期清理的索引的字尾日期格式為yyyy.mm.dd,如:project-index-2017.10.01

思路 通過_cat/indices介面可以獲取當前es全部索引資訊,取第三列為索引名。過濾出索引名中帶有的日期字串,然後進行日期比較,早於10天前的日期便可通過日期模糊匹配索引來刪除。

#!/bin/bash

# ###################################

#刪除早於十天的es集群的索引

###################################

function delete_indices()

curl -xget | awk -f" " '' | awk -f"-" '' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq | sed 's/\./-/g' | while read line

do #呼叫索引刪除函式

delete_indices $line

done

新增定時任務 每天 1點10分

crontab -e

10 1 * * * sh /tmp/es-index-clear.sh > /dev/null 2>&1

elasticsearch 自動發現

自動發現的配置 elasticsearch 是乙個p2p 型別 使用gossip協議 的分布式系統,除了集群狀態管理以外,其他所有的請求逗可以傳送到集群內 任意一台節點上,這個節點可以自己找到需要 給哪些節點,並且直接跟這些節點通訊。所以,從網路架構及配置上來說,構建集群所需要的配置極其簡單。在無阻...

elasticsearch索引自動清理

檢視所有的索引檔案 刪除索引檔案以釋放空間 單節點的elk可在索引目錄刪除索引檔案 集群環境刪除某節點的索引檔案,會導致集群服務不可用.集群環境需要使用api的方式進行刪除.索引檔案保留在伺服器中,大大減小伺服器的效能,占用硬碟空間,因此使用指令碼自動刪除elk中兩個月以前的索引以釋放空間 新增計畫...

Elasticsearch 動態對映 自動檢測

es中有乙個非常重要的特性 動態對映,即索引文件前不需要建立索引 型別等資訊,在索引的同時會自動完成索引 型別 對映的建立。那麼什麼是對映呢?對映就是描述欄位的型別 如何進行分析 如何進行索引等內容。本篇就著重講述下,es中對映的自動檢測特性。在某個字段第一次出現時,如果之前沒有定義過對映,es會自...