ELK之elasticdump遷移es資料

2022-06-24 10:06:10 字數 1980 閱讀 7031

參考:

elasticsearch部分查詢語句

獲取集群節點列表

列出所有索引

curl "172.16.30.55:9200/_cat/indices?v"
如果節點安裝了search guard認證使用以下命令

curl "" -k
-k取消證書驗證而使用使用者名稱和密碼驗證

安裝elasticdump

wget 

tar xf node-v8.11.2-linux-x64.tar.xz

mv node-v8.11.2-linux-x64 /usr/local

ln -s /usr/local/node-v8.11.2-linux-x64/bin/npm /usr/local/bin/npm

ln -s /usr/local/node-v8.11.2-linux-x64/bin/node /usr/local/bin/node

npm init -f

npm install elasticdump

修改檔案增加以下內容/etc/profile

export node_home=/usr/local/node-v8.11.2-linux-x64

export path=$path:$node_home/bin:/opt/node_modules/elasticdump/bin

export node_path=$node_home/lib/node_modules

設定生效

source /etc/profile
資料遷移

資料通過網路進行遷移 從主機172.16.30.55遷移至172.16.30.56

#拷貝對映

elasticdump \

--input= \

--output=\

#拷貝資料 elasticdump \

--input= \

--output= \

--type=data

如果網路不好或者沒有網路還可以先備份到檔案

#備份對映

elasticdump \

--input= \

#備份資料

elasticdump \

--input= \

--output=/tmp/nginx-prod-log_data.json \

--type=data

通過備份檔案恢復資料

#恢復對映

elasticdump \

--output= \

#恢復資料

elasticdump \

--input=/tmp/nginx-prod-log_data.json \

--output= \

加密的資料遷移 當客戶端使用search guard進行加密時候資料遷移命令格式如下

#前面加引數,後面https加入使用者名稱和密碼即可

node_tls_reject_unauthorized=0 elasticdump --input= --output= --type=data

ps:同理如果是output端是search guard加密也是在前面加引數然後把http改成https後面在加使用者名稱和密碼認證

從備份好的json檔案恢復至加密的elasticsearch命令格式如下

node_tls_reject_unauthorized=0 elasticdump --input=data20190610/96_stock_data.json --output=

ps:輸入不需要加密認證,輸出不需要加--type引數

(一)ELK系列之ELK介紹

elk介紹 elk簡介 隨著業務的不斷擴大,伺服器的不斷增加,各種服務的不斷增加,相應的日誌量也大量增加,訪問日誌 應用日誌 錯誤日誌種類繁多。從兩個角度進行分析 1 開發人員的角度來說,還需要去到伺服器上檢視繁多的日誌,無法高效的定位問題所在,所以並不方便 2 運營人員的角度來說,他們也需要獲取一...

elasticdump 資料匯入匯出

產看node版本,沒安裝的請先安裝 node v 清楚node快取 sudo npm cache clean f 安裝node版本管理工具 n sudo npm install n g 使用版本管理工具安裝指定node或者公升級到最新node版本 sudo n stable 安裝node最新版本 s...

npm離線安裝elasticdump工具

1.安裝npm pack all工具 npm pack all 用於打包npm庫為.tgz檔案 npm install g npm pack all2.安裝elasticdump npm install elasticdump g3.打包elasticdump 進入elasticdump安裝目錄 執...