elastic 索引與搜尋模組

2021-08-18 20:47:01 字數 891 閱讀 7684

倒排索引

lucnce採用倒排索引,例如:對

兩條資料,會建立如下索引:

word

index

歐陽1[1],2[1],0,0 #當前詞在id=1的doc中出現1次,offset為0,在id=2的doc中出現一次,offset為0

紅葉1[1],0 #當前詞在id=1的doc中出現1次,offset為0

晴明2[1],0 #當前詞在id=2的doc中出現1次,offset為0

索引模組

首先對文字進行索引分析,然後建立索引。

1. 索引分析模組analyzer:

1)分解器(tokenizer) :

英文分解器會把中文分解成乙個乙個的字,安裝中文分解器就可以了,例如對於文字「英文分解器」:

英文分解器分解後:「英」、「文」、「分」、「解」、「器」,

中文分解器分解後 「英文」、「分解」、「分解器」

2)詞元過濾器(token filters)

- 停用詞過濾器:

英文中對於分解器分解出的 the 、a 、is 等這些詞,不對其建索引

中文對於分解器分解出的 的、了、嗎 等這些詞,不對其建索引

key="ext_dic">custom/shiyou_words.dic;custom/liuxingci.dic
索引建立模組indexer

1)在建立索引過程中,分析處理過的文件將被加入到索引列表。事實上,lucene為此僅提供了乙個非常簡單的api,而後自行內生地完成了此過程的所有功能

索引和搜尋

熱更新ik詞庫(不必重啟es服務)

ELASTIC索引監控指令碼

報 式自定義,我這裡用的zabbix呼叫指令碼監控 bin bash power by kerwin 監控任意索引資料匯入情況,若20分鐘內無資料,報警觸發 使用方式,給指令碼傳索引名字的引數即可檢測需要的索引,你也可以在指令碼內部修改變數index的值,監控指定指令碼。報 式請自定義。times ...

Orchard搜尋與索引

orchard提供了索引與搜尋的功能。開啟indexing屬性可實現索引功能,伴隨著乙個特定的索引執行 預設包含基礎搜尋引擎 除了indexing和search提供查詢索引的功能外 通過關鍵字或使用搜尋引擎查詢語法 還可以在前端返回與查詢匹配的內容條目列表。你必須開啟search indexing和...

業務模組資料與搜尋引擎索引資料同步的問題

上兩周,我在搭建裝修相簿的索引庫的時候,發現了乙個潛在的問題,之前是沒有考慮到的。那就是 業務模組資料與搜尋引擎索引資料同步的問題 搜尋引擎索引庫的資料時增量的,即更新業務模組每天變更的資料。從索引時間和系統資源佔用率分析,每天全部重新索引一遍是不可能的。業務模組的資料變動,搜尋引擎需要有辦法知道。...