ElasticSearch 日誌工具

2022-01-24 00:01:45 字數 2551 閱讀 7212

elasticsearch: 權威指南

官方文件:

參考文件:

elasticsearch 檢索

elasticsearch工作原理

elasticsearch :是乙個分布式、可擴充套件、實時搜尋與資料分析引擎。 它能從專案一開始就賦予你的資料以搜尋、分析和探索的能力,這是通常沒有預料到的。 它存在還因為原始資料如果只是躺在磁碟裡面根本就毫無用處。

es:是乙個高擴充套件的、開源的、全文檢索搜尋引擎,它提供了近實時的索引、搜尋、分析功能。

2 可以搜尋日誌或者交易資料,用來分析商業趨勢、蒐集日誌、分析系統瓶頸或者執行發展等等

3 可以提供預警功能(持續的查詢分析某個資料,如果超過一定的值,就進行警告

4 分析商業資訊,在百萬級的大資料中輕鬆的定位關鍵資訊

1 近實時

es並不是乙個標準的資料庫,它不像mongodb,它側重於對儲存的資料進行搜尋。因此要注意到它不是實時讀寫的,這也就意味著,剛剛儲存的資料,並不能馬上查詢到。

當然這裡還要區分查詢的方式,es也有資料的查詢以及搜尋,這裡的近實時強調的是搜尋....

2 集群

在es中,對使用者來說集群是很透明的。你只需要指定乙個集群的名字(預設是elasticsearch),啟動的時候,凡是集群是這個名字的,都會預設加入到乙個集群中。

你不需要做任何操作,選舉或者管理都是自動完成的。

對使用者來說,僅僅是乙個名字而已!

3 節點

跟集群的概念差不多,es啟動時會設定這個節點的名字,乙個節點也就是乙個es得伺服器。

缺省會自動生成乙個名字,這個名字在後續的集群管理中還是很有作用的,因此如果想要手動的管理或者檢視一些集群的資訊,最好是自定義一下節點的名字。

4 索引

索引是一類文件的集合,所有的操作比如索引(索引資料)、搜尋、分析都是基於索引完成的。

在乙個集群中,可以定義任意數量的索引。

5 型別

型別可以理解成乙個索引的邏輯分割槽,用於標識不同的文件字段資訊的集合。但是由於es還是以索引為粗粒度的單位,因此乙個索引下的所有的型別,都存放在乙個索引下。這也就導致不同型別相同欄位名字的字段會存在型別定義衝突的問題。

在2.0之前的版本,是可以插入但是不能搜尋;在2.0之後的版本直接做了插入檢查,禁止字段型別衝突。

6 文件

文件是儲存資料資訊的基本單元,使用json來表示。

7 分片與備份

在es中,索引會備份成分片,每個分片是獨立的lucene索引,可以完成搜尋分析儲存等工作。

分片的好處:

1 如果乙個索引資料量很大,會造成硬體硬碟和搜尋速度的瓶頸。如果分成多個分片,分片可以分攤壓力。

2 分片允許使用者進行水平的擴充套件和拆分

3 分片允許分布式的操作,可以提高搜尋以及其他操作的效率

拷貝乙份分片就完成了分片的備份,那麼備份有什麼好處呢?

1 當乙個分片失敗或者下線時,備份的分片可以代替工作,提高了高可用性。

2 備份的分片也可以執行搜尋操作,分攤了搜尋的壓力。

es預設在建立索引時會建立5個分片,這個數量可以修改。

不過需要注意:

1 分片的數量只能在建立索引的時候指定,不能在後期修改

2 備份的數量可以動態的定義

elasticsearch 脫穎而出的地方:elasticsearch 鼓勵你去探索與利用資料,而不是因為查詢資料太困難,就讓它們爛在資料倉儲裡面。

結構化搜尋(structured search) 是指有關探詢那些具有內在結構資料的過程

比如日期、時間和數字都是結構化的:它們有精確的格式,我們可以對這些格式進行邏輯操作。比較常見的操作包括比較數字或時間的範圍,或判定兩個值的大小。

結果只能是:存於範圍之中,抑或反之。同樣,對於結構化文字來說,乙個值要麼相等,要麼不等。沒有 更似 這種概念。

精確值查詢

當進行精確值查詢時,

我們會使用過濾器(filters)。過濾器很重要,因為它們執行速度非常快,不會計算相關度(直接跳過了整個評分階段)而且很容易被快取

組合過濾器

布林過濾器

巢狀布林過濾器

查詢多個精確值

elasticsearch 事務日誌

是什麼?translog是elasticsearch的事務日誌檔案,它記錄了所有對索引分片的事務操作 add update delete 每個分片對應乙個translog檔案。幹嘛用的?translog是用來恢復資料的。es用 後寫 的套路來加快寫入速度 寫入的索引並沒有實時落盤到索引檔案,而是先雙...

ElasticSearch日誌刪除

檢視elasticsearch中的索引 curl http ip 9200 cat indices u使用者 密碼 通過curl傳送delete命令給elasticsearch伺服器,進行日誌刪除操作。示例 1 通過日期刪除2020年六月的日誌 curl xdelete http ip 9200 2...

Elasticsearch慢日誌配置

前面整理過一遍正確重啟elasticsearch 集群的文章,作為乙個運維重啟能解決的問題那必然是首選解決方案。不過如果經常靠重啟解決問題未必就太low了,而且重啟多了勢必會掩蓋一些問題,問題積累嚴重了,導致重大故障也不少見。所以想成長為乙個有深度的攻城獅,首先要學會的技能就是分析問題。下面分享下平...