ES 冷熱分離

1.安裝node

cd /usr/local/src/

wget 

tar -zxvf node-v4.4.7-linux-x64.tar.gz -c /usr/local/

mv /usr/local/node-v4.4.7-linux-x64  /usr/local/node

cat >> /etc/profile <

eofsource  /etc/profile

wget  

unzip master.zip  -d /usr/local/

3.安裝grunt

npm config set registry  --global

npm config set disturl  --global

cd /usr/local/elasticsearch-head-master/

npm install -g grunt-cli //執行後會生成node_modules資料夾

4.修改head外掛程式

修改es的 config/elasticsearch.yml，加兩行配置

5.啟動head

npm install

grunt server

在 hot 組的節點的 elasticsearch.yml 配置檔案 node 配置段中增加

node.attr.box_type: hot

node.attr.box_type: cold

1.安裝pip

yum -y install epel-release

pip install elasticsearch-curator==3.5

2.定時分配老索引到cold節點下

curator allocation --rule tag=cold --type  include  indices   --time-unit  days  --older-than  7  --timestring  '%y.%m.%d'  --prefix  jsonlog

ES資料冷熱隔離

由於需求和資源的限制，將熱資料存在tmpfs上 有資源的話可以用ssd 冷資料存在普通磁碟上。特點 它的儲存空間在vm virtual memory vm是由linux核心裡面的vm子系統管理的，由rm real memory 和swap組成,rm的大小就是物理記憶體的大小，而swap的大小是由自己...

Elasticsearch集群冷熱分離 實際操作

兩台物理機 40core，128g記憶體,1t ssd,1t 3 hdd 每台機器同時部署乙個hot node和cold node，共4個node。hot node使用ssd作為儲存介質，分配32g記憶體，接收實時日誌。cold node使用hdd盤作為儲存介質，分配16g記憶體，儲存歷史日誌 唯讀...

資料歸檔，冷熱資料分離

一.關於tokudb引擎 1.tokudb引擎特點 1.高壓縮比，高寫入效能 4.支援索引同步 2.tokudb安裝步驟 1.yum install jemalloc y 2.vim etc my.cnf 新增如下 mysqld safe malloc lib usr lib64 libjemall...