ES 004 ES工作原理

2021-09-27 09:41:10 字數 475 閱讀 7784

儲存資料

shard =

hash

(routing)

% number_of_primary_shards

routing是可變值,支援自定義,預設是文件 id

hash函式生成資料,經過求餘演算法得到餘數,這個餘數就是分片的位置

如何水平擴容
put /blogs/_settings

elk 優勢

分布式實時檔案儲存,可將每個字段存入索引,使其可以被檢索到

實時分析的分布式搜尋引擎。

可以擴充套件到上百臺伺服器,處理pb級別的結構化或非結構化資料。

支援外掛程式機制,分詞外掛程式,同步外掛程式,hadoop外掛程式,視覺化外掛程式等。

應對的問題

流量暴增

a集群裡面的大索引查詢,會影響a集群中的小索引查詢,比如現在同乙個訂單索引大了,查詢速度變慢,影響了其他業務,怎麼解決?

ES路由原理

1 路由演算法 shard hash routing number of primary shards 例如 乙個index有3個primary shard p0,p1,p2每次增刪改修改乙個document的時候,都會帶過來乙個routing number,預設這個就是document 的 id。...

ES 底層原理

es一般情況下分為 主節點,子節點,雲端節點 主節點 master 例如下面的boss 負責建立索引 刪除索引 分配分片 追蹤集群中的節點狀態等 子節點 負責儲存資料,修改索引,查詢資訊等 雲端節點 負責當資料丟失情況,進行恢復 每個索引預設有5個分片,1個副本數 number of shards ...

es父子結構查詢 ES 系列3 ES 檢索原理

索引原理 磁碟io與預讀 倒排索引 fst索引是加速資料查詢的重要手段,其核心原理是通過不斷的縮小想要獲取資料的範圍來篩選出最終想要的結果,同時把隨機的事件變成順序的事件。也就是說,有了這種索引機制,我們可以總是用同一種查詢方式來鎖定資料。磁碟io程式設計中非常高昂的操作,也是影響程式效能的重要因素...