1. 遷移需求
2. 實際動作
3. 問題總結
cpumem
disk
48c500gb
32tb
該集群為9節點集群，6臺資料節點主機是上面配置，3臺master節點大概是12c、48g、200gb（和其他服務混用主機了）
# curl -x get "xx.xx.xx.xx:10004/_cat/nodes?v"
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
xx.xx.x.87 65 99 5 3.98 2.93 2.35 d - es-newdata4
xx.xx.x.22 23 99 10 2.13 1.83 1.48 mi - es-master1
xx.xx.x.85 54 99 5 1.68 1.16 1.07 d - es-newdata2
xx.xx.x.88 58 98 5 1.49 2.66 2.64 d - es-newdata5
xx.xx.x.84 72 99 5 1.65 2.19 2.05 d - es-newdata1
xx.xx.x.23 17 99 7 0.86 0.89 1.05 mi * es-master2
xx.xx.x.24 43 99 7 1.61 1.33 1.24 mi - es-master3
xx.xx.x.89 63 99 5 0.51 0.95 0.96 d - es-newdata6
xx.xx.x.86 66 99 4 0.86 1.51 1.64 d - es-newdata3
es集群資料資訊：
9 nodes----1218 indices----64450 shards----26968596160 docs----16.98tb
# curl -s "xx.xx.x.22:10004/_cat/shards" | grep es-newdata1 | wc -l
11956
每台資料節點大概1w+的分片資料
準備將newdata3遷移到其他節點後，停止newdata3節點es服務，停止主機
更換記憶體
啟動newdata3節點主機，啟動newdata3節點es服務，重新分片資料
1.禁止節點分配資料
觀察發現分片資料遷移很慢
2.檢視集群分片恢復個數和節點傳輸最大頻寬
發現集群分片恢復個數是預設的2個
3.調整集群分片恢復個數和節點傳輸最大頻寬
數值可以根據自己機器進行調整
cluster.routing.allocation.node_concurrent_recoveries屬性集群中每個節點上分片併發恢復的個數，
預設為2。可根據老資料節點的 cpu 核數 * 4來確定具體的值，但不要超過50。例如，老資料節點為4核16g，則建
議該值設定為16；老資料節點為16核64g，則建議該值設定為50。如果發現調大了該值後集群的穩定性受到影響，可
適當減小該值。
indices.recovery.max_bytes_per_sec屬性表示節點之間資料傳輸的最大頻寬限制，預設為40mb。該值不宜
設定的過高，否則會破壞集群的穩定性。客戶可以5mb為步長，逐步調整該限制值，並持續觀察集群的穩定性，最終
選擇乙個相對平衡的值。
4.機器更換好記憶體後，解除禁止節點分配資料動作
1.關機前，資料遷移了大概5個小時
2.機器恢復後，資料重新分片速度特別慢，修改集群分片恢復個數和節點傳輸最大頻寬沒有作用，始終只修改2個索引，es也沒有日誌報錯(還未理解為什麼)，但不影響業務使用
ELK之elasticdump遷移es資料
參考 elasticsearch部分查詢語句 獲取集群節點列表 列出所有索引 curl 172.16.30.55 9200 cat indices?v 如果節點安裝了search guard認證使用以下命令 curl k k取消證書驗證而使用使用者名稱和密碼驗證 安裝elasticdump wget...
es資料跨集群遷移（HDSF方法）
es 備份儲存方式支援以下幾種方式 fs 檔案掛載 url 網路協議儲存 http,https,ftp s3 亞馬遜 hdfs azure 微軟 gcs 谷歌 本篇文章採用hdfs方式儲存 1.repository 倉庫 es集群中,想要備份資料,必須建立倉庫,用來儲存快照,乙個集群可以建立多個倉庫...
ES6公升級ES7資料遷移，資料快照
二 建立快照倉庫 三 生成快照資料 四 在目標es中生成資料 五 驗證資料查詢 六 與es6的不同 這邊測試使用一台機器 源es 乙個es6儲存 目標es 乙個es7作為讀取 yum install nfs utils y systemctl start nfs utils systemctl en...