Elastic 分片設計及管理

2021-10-07 02:38:22 字數 569 閱讀 9606

分片設計

資料寫入可以分散到多個機器上

查詢可以並行進行

增加機器,可以no downtime 的水平擴充套件/分片的重新分配

es官方建議日誌應用,單個分片大小最好小於50g

搜尋類應用,單個分片最好小於20g

提高update的效能

減少merge所需的資源

丟失節點,更快速的rebalance

副本分片的設計

副本是主分片的拷貝

副本可以提高系統可用性:查詢請求時,防止資料丟失

需要占用和主分片一樣的資源

會降低寫入的速度,寫兩份,cpu資源消耗

會減緩對主分片的查詢能力,但是會消耗同樣的記憶體資源

在機器資源充分的情況下,提高查詢的qps

分片案例優化分析

這裡單個索引1.88tb /40分片 正好是 48g ,但是是搜尋類的分片,應該改為不超過20g

然後副本分片為0 ,可以增加 副本分片 提高查詢的吞吐量

RGW分片管理

1.s3分片說明 index pool一定要上ssd,這個是優化的前提。合理設定bucket 的shard 數量 shard的數量並不是越多越好,過多的shard會導致部分類似list bucket的操作消耗大量底層儲存io,導致部分請求耗時過長。shard的數量還要考慮到你osd的故障隔離域和副本...

mongo分片及驅動

在三颱機器上如下配置,其中檔名稱,ip,埠可作相應更改。1 拷貝程式到 opt 下,建立分片配置檔案。shard21.conf dbpath data shard21 logpath data shard21.log pidfilepath opt mongodb shard21.pid direc...

INFORMIX 分片表及索引

在informix 中,分片表可以支援除了在分片主鍵上進行建立本地索引外,還可以建立多個其他非分片鍵字段的本地索引,而在對該錶進行分片管理時 刪除乙個分片,增加乙個分片 不影響表的使用,索引不需要重建。oracle中需要重建index 1 建立分片表 create table t fragment ...