使用hdfs進行快照備份,依賴於外掛程式:hadoop hdfs repository plugin
離線http安裝
./elasticsearch/bin/elasticsearch-plugin install安裝完成後,重啟集群所有節點
# 建立快照
# put /_snapshot/my_backup/
# put /_snapshot/my_backup/%3csnapshot-%7bnow%2fd%7d%3e
put /_snapshot/my_hdfs_repository/%3cpdm_doc-%7bnow%2fd%7d%3e?wait_for_completion=true
# 檢視快照
get /_snapshot/my_hdfs_repository/pdm_doc-*
# 檢視當前正在執行的快照
get /_snapshot/my_hdfs_repository/_current
# 全部恢復
post /_snapshot/my_hdfs_repository/my_index-2019.01.29/_restore
# 指定恢復規則
post /_snapshot/my_hdfs_repository/my_index-2019.01.29/_restore
配置日誌收集到HDFS和ES
配置日誌收集到hdfs或es 可以用flume或logstash將日誌收集到相應檔案分析系統，如hdfs或elasticsearch 1.採用logstash路由收集的配置 配置檔案 logstash.conf，包含input，output,filter input stdin 可以從標準輸入讀資料...
HDFS建立快照備份資料
hdfs建立快照備份資料 在進一步分析hdfs內部的快照管理之前,需要先了解snapshot快照的概念.首先乙個很根本的原則 快照不是資料的簡單拷貝,只做差異的複製 這一原則在其他很多系統快照概念中都是遵守的,比如磁碟快照,也是不儲存真實資料的.因為不儲存實際的資料,所以快照的生成往往非常的迅速.在...
Sqoop匯入資料到HDFS上
flume收集日誌 主動的和被動的 看文件sqoop底層是mr，要執行sqoop要有yarn環境，做大資料平台和關係型資料庫匯入匯出工具，必須要有連線資料庫的驅動 root node1 service mysql start root node1 service mysql status root ...