Es小集群的搭建

2021-10-05 12:46:51 字數 3463 閱讀 9542

一、這裡以三颱linux虛擬機器為例

建立乙個es專門的使用者,因為es不能用root使用者啟動

使用root使用者在三颱機器執行以下命令

useradd es 

mkdir -p /export/servers/es

mkdir -p /export/data/es

mkdir -p /export/logs/es

chown -r es /export/servers/es

chown -r es /export/data/es

chown -r es /export/logs/es

passwd es

為es使用者新增sudo許可權三颱機器使用root使用者執行visudo然後為es使用者新增許可權

visudo

es all=(all) all

新增完以後,關閉我們的crt或者xshll的所有的會話,重新連線,切換到es使用者來連線我們的linux伺服器

su es

上傳安裝包

wget

tar -zxvf elasticsearch-6.0.0.tar.gz -c /export/servers/es/

修改elasticsearch-6.0.0/config下的elasticsearch.yml檔案

可以清空裡面的內容,新增如下配置:

集群名字

cluster.name: es

集群中當前的節點

node.name: es01(每一台注意修改)

資料目錄

path.data: /export/data/es

#日誌目錄

path.logs: /export/logs/es

當前主機的ip位址

network.host: 192.168.72.161(ip位址換成自己的,每一台都要對應所在的機器)

#集群上的節點資訊

discovery.zen.ping.unicast.hosts: ["es01","es02","es03"]

linux安裝es的乙個bug解決的配置

bootstrap.system_call_filter: false

bootstrap.memory_lock: false

是否支援跨域

#*表示支援所有網域名稱

把安裝包分發到別的機器上面

scp -r /export/servers/es/elasticsearch-5.3.3/ docker02:$pwd
分發完成以後注意修改配置裡面的資訊

三颱機器修改jvm記憶體大小

三颱機器執行以下命令修改jvm記憶體大小

cd /export/servers/es/elasticsearch-5.3.3//config

vi jvm.options

-xms2g

-xmx2g

問題一:max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

es因為需要大量的建立索引檔案,需要大量的開啟系統的檔案,所以我們需要解除linux系統當中開啟檔案最大數目的限制,不然es啟動就會拋錯

三颱機器執行以下命令解除開啟檔案資料的限制

sudo vi /etc/security/limits.conf
新增如下內容: 注意*不要去掉了

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

問題二:max number of threads [1024] for user [es] likely too low, increase to at least [4096]

修改普通使用者可以建立的最大執行緒數

max number of threads [1024] for user [es] likely too low, increase to at least [4096]

原因:無法建立本地執行緒問題,使用者最大可建立執行緒數太小

解決方案:修改90-nproc.conf 配置檔案。

三颱機器執行以下命令修改配置檔案

sudo vi /etc/security/limits.d/90-nproc.conf
找到如下內容:

* soft nproc 1024

#修改為

* soft nproc 4096

問題三:max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

調大系統的虛擬記憶體

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

原因:最大虛擬記憶體太小

每次啟動機器都手動執行下。

三颱機器執行以下命令,注意每次啟動es之前都要執行

sudo  sysctl -w vm.max_map_count=262144
問題三;也可以用這種辦法解決:

設定虛擬記憶體的大小

vim /etc/sysctl.conf

檔案末尾追加

vm.max_map_count=262144

備註:以上三個問題解決完成之後,重新連線securecrt或者重新連線xshell生效

需要儲存、退出、重新登入xshell才可生效。

es的啟動:

後台啟動:

nohup /export/servers/es/elasticsearch-5.3.3/bin/elasticsearch >/dev/null 2>&1 &
訪問es

在google chrome瀏覽器中,訪問以下位址

如果看到下面的資料就說明成功了:

es集群搭建過程

1.環境和安裝包 cluster.name elasticsearch cluster 集群名 node.name es node3 節點名 network.host 0.0.0.0 配置為外網可訪問 不然只有本機可以訪問 transport.tcp.port 9300 集群之間的通訊埠 http....

Windows下ES偽集群搭建

啟動並測試 1 在 config jvm.options 中修改記憶體配置 xms2g xmx2g將上述內容修改為 記憶體大,可不修改 xms1g xmx1g2 在 config elasticsearch.yml 中修改3個節點配置 node1配置如下 統一的集群名 cluster.name my...

docker搭建es集群ik分詞kibana

實際應用中應是多台伺服器做集群,這裡演示僅一台伺服器用埠號區分的偽集群,這裡忽略docker容器安裝jdk等必要基礎環境,需悉知.1.拉取相應版本es docker pull elasticsearch 6.8.62.啟動容器 註明 可將第13步可在此處設定 v usr local data usr...