分片shardses是個分布式的搜尋引擎, 所以索引通常都會分解成不同部分, 而這些分布在不同節點的資料就是分片.
es自動管理和組織分片, 並在必要的時候對分片資料進行再平衡分配
副本replicas為了提公升訪問壓力過大是單機無法處理所有請求的問題,elasticsearch集群引入了副本策略replica。副本策略對index中的每個分片建立冗餘的副本,
處理查詢時可以把這些副本當做主分片來對待(primary shard),此外副本策略提供了高可用和資料安全的保障,當分片所在的機器宕機,
elasticsearch可以使用其副本進行恢復,從而避免資料丟失。
調整分片和副本原則a:索引不存在時,可以自定義副本和分片數
b:索引存在,則只能修改副本
調整分片和副本常用命令
檢視集群node 資訊curl -xget
檢視集群索引curl -xget
定期自動清理索引這裡使用linux中的crontab進行定時任務來刪除xx天的索引。我們在定義logstash向elasticsearch中輸出索引的格式為***-2019.08.10,因此,我們可以先定義乙個指令碼:
touch es_clear.sh
vim es_clear.sh
#! /bin/bash
data=`date -d "-xx days" "+%y.%m.&d"`
chmod +x es_clear.sh
0 1 * * * /home/elkpro/scripts/es_clear.sh
es動態分配分片 ES磁碟分配不均問題
近es集群磁碟空間告警,日誌又沒地方可以遷移,然後申請了新的伺服器,一次性加入8台新的伺服器 新增了32個新的資料節點,至此,我們的主集群已經到達85個資料節點的規模,整個集群資料已達到pb級別,終於可以跟別人炫耀我是做大資料的了。o o哈哈 但是隨著集群節點的不斷壯大,問題也隨之而來,剛開始加入新...
ES集群分片及副本調整
分片shards es是個分布式的搜尋引擎,所以索引通常都會分解成不同部分,而這些分布在不同節點的資料就是分片.es自動管理和組織分片,並在必要的時候對分片資料進行再平衡分配副本replicas 為了提公升訪問壓力過大是單機無法處理所有請求的問題,elasticsearch集群引入了副本策略repl...
ES集群分片及副本調整 學習,認真學習
分片shards es是個分布式的搜尋引擎,所以索引通常都會分解成不同部分,而這些分布在不同節點的資料就是分片.es自動管理和組織分片,並在必要的時候對分片資料進行再平衡分配副本replicas 為了提公升訪問壓力過大是單機無法處理所有請求的問題,elasticsearch集群引入了副本策略repl...