開源元件 ElasticSearch

2021-10-06 12:25:48 字數 700 閱讀 2186

elasticsearch是乙個基於lucene的搜尋伺服器。它提供了乙個分布式多使用者能力的全文搜尋引擎,基於restful web介面。

特點:nosql、基於document、秒級實時處理、開源

名詞解釋:

節點:每個elasticsearch例項是乙個節點

分片:對應檔案,lucene索引、索引的組成部分、對映到磁碟上的檔案

索引:多個分片、進行查詢和讀取的最小單位、其中的資料經過預分析,提高查詢效率

副本:分片有主分片和副本兩型別、可調整分布實現高可用、提高搜尋效能

文件:儲存在索引中的基本單元、可以做crud、json格式

對映:索引的屬性、定義文件內容的儲存格式

基本操作:

插入: 單條插入、批量插入

查詢: uri search(get)、request body search(post)

更新: 單條更新、刪除更新

刪除:單條刪除、查詢刪除

典型操作:單個文件的獲取、多個文件的獲取、單個文件插入刪除、多個文件

視覺化:kibana

監控及運維工具:cerebro、cat api、 日誌、 tig

CronJob刪除ElasticSearch日誌

目前在k8s平台內,通過pod掛載hostpath將程式形成的日誌檔案傳輸儲存到宿主機指定目錄上,然後fluentd根據指定目錄去蒐集日誌檔案 json格式 然後通過呼叫elasticsearch 以下簡稱es 的api將日誌儲存到es中,那麼問題來了,日誌檔案大了怎麼清理?1.每個工作節點上的日誌...

windows下的elasticSearch安裝

es官網 進入bin目錄,雙擊elasticsearch.bat 訪問http localhost 9200可訪問 新增ik分詞器 解壓ik分詞器包,放到es安裝目錄的plugins中的analysis ik 資料夾中 新建analysis ik 資料夾 再次啟動elasticsearch.bat,...

同步LDAP資料到ElasticSearch

純python編寫 支援全量同步ldap資料,包括person 使用者 computer 計算機 group 組 多程序 協程實現快速同步 簡單配置即可使用 clone專案到本地 git clone 安裝依賴 cd ldap2es pip install r requirements.txt 修改配...