ELasticSearch(五)ES集群原理與搭建

2022-08-24 12:45:12 字數 2976 閱讀 9569

檢視集群健康狀況:url+ /get _cat/health

(1)、es基本概念名詞

cluster

代表乙個集群,集群中有多個節點,其中有乙個為主節點,這個主節點是可以通過選舉產生的,主從節點是對於集群內部來說的。es的乙個概念就是去中心化,字面上理解就是無中心節點,這是對於集群外部來說的,因為從外部來看es集群,在邏輯上是個整體,你與任何乙個節點的通訊和與整個es集群通訊是等價的。

shards

代表索引分片,es可以把乙個完整的索引分成多個分片,這樣的好處是可以把乙個大的索引拆分成多個,分布到不同的節點上。構成分布式搜尋。分片的數量只能在索引建立前指定,並且索引建立後不能更改。

replicas

代表索引副本,es可以設定多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜尋請求進行負載均衡。

recovery

代表資料恢復或叫資料重新分布,es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啟動時也會進行資料恢復。

(2)、es為什麼要實現集群

在單台es伺服器節點上,隨著業務量的發展索引檔案慢慢增多,會影響到效率和記憶體儲存問題等。

我們可以採用es集群,將單個索引的分片到多個不同分布式物理機器上儲存,從而可以實現高可用、容錯性等。

es集群中索引可能由多個分片構成,並且每個分片可以擁有多個副本。通過將乙個單獨的索引分為多個分片,我們可以處理不能在乙個單一的伺服器上面執行的大型索引,簡單的說就是索引的大小過大,導致效率問題。不能執行的原因可能是記憶體也可能是儲存。由於每個分片可以有多個副本,通過將副本分配到多個伺服器,可以提高查詢的負載能力。

(3)、es是如何解決高併發

es是乙個分布式全文檢索框架,隱藏了複雜的處理機制,內部使用 分片機制、集**現、分片負載均衡請求路由。

shards 分片:代表索引分片,es可以把乙個完整的索引分成多個分片,這樣的好處是可以把乙個大的索引拆分成多個,分布到不同的節點上。構成分布式搜尋。分片的數量只能在索引建立前指定,並且索引建立後不能更改。  

replicas分片:代表索引副本,es可以設定多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜尋請求進行負載均衡。

1、每個索引會被分成多個分片shards進行儲存,預設建立索引是分配5個分片進行儲存。每個分片都會分布式部署在多個不同的節點上進行部署,該分片成為primary shards。

注意:索引的主分片primary shards定義好後,後面不能做修改。

2、為了實現高可用資料的高可用,主分片可以有對應的備分片replics shards,replic shards分片承載了負責容錯、以及請求的負載均衡。

注意: 每乙個主分片為了實現高可用,都會有自己對應的備分片,主分片對應的備分片不能存放同一臺伺服器上。主分片primary shards可以和其他replics shards存放在同乙個node節點上。

3、documnet routing(資料路由)

當客戶端發起建立document的時候,es需要確定這個document放在該index哪個shard上。這個過程就是資料路由。

路由演算法:shard = hash(routing) % number_of_primary_shards

如果number_of_primary_shards在查詢的時候取餘發生的變化,無法獲取到該資料

注意:索引的主分片數量定義好後,不能被修改

高可用檢視分析(下圖所示:上面的圖,如果節點1與節點2宕機了,es集群資料就不完整了。下面圖,如果節點1與節點2宕機了,es集群資料還是完整的)

(1)、伺服器環境

準備三颱伺服器集群

伺服器名稱

ip位址

node-1

192.168.212.182

node-2

192.168.212.183

node-3

192.168.212.184

1、vi elasticsearch.yml  修改配置檔案

2、cluster.name: myes    ###保證三颱伺服器節點集群名稱相同

3、node.name: node-1   #### 每個節點名稱不一樣 其他兩台為node-1 ,node-2

4、network.host: 192.168.212.180   #### 實際伺服器ip位址

5、discovery.zen.ping.unicast.hosts: ["192.168.212.184", "192.168.212.185","192.168.212.186"]  ##多個服務集群ip

6、discovery.zen.minimum_master_nodes: 1

(2)、關閉防火牆

*號表示為master節點

注意:注意轉殖data檔案會導致資料不同步

報該錯誤解決辦法 :

failed to send join request to master

因為轉殖導致data檔案也轉殖呢,直接清除每台伺服器data檔案。

elasticsearch 文件資料解析(五)

乙個文件不僅僅包含它的資料 也包含元資料 有關文件的資訊,三個必須的元資料元素如下 index 乙個 索引 應該是因共同的特性被分組到一起的文件集合。例如,你可能儲存所有的產品在索引 products 中,而儲存所有銷售的交易到索引 sales 中。雖然也允許儲存不相關的資料到乙個索引中,但這通常看...

ElasticSearch(五) 核心元資料介紹

1 index元資料 2 type元資料 3 id元資料 1 index元資料 1 代表乙個document存放在哪個index中 2 類似的資料放在乙個索引,非類似的資料放不同索引 product index 包含了所有的商品 sales index 包含了所有的商品銷售資料 inventory ...

第五回 e 的引入

假如你有 1 塊錢,存銀行,利率為 100 那麼一年後本息和為 1 1 2.如果你換種存法,存半年,把本息和取出來,再存半年,那麼一年後本息和為 left 1 frac right 2 frac 2.25.你會發現,你存款的期數越多,一年後的本息和越大.自然地,你會想問兩個問題?1 是不是隨著期數增...