公號:碼農充電站pro主頁:es 有以下不同型別的節點:
data節點:負責資料儲存。
ingest節點:資料預處理。
coordinating節點:處理使用者請求。
在開發環境中,乙個節點可以承擔多種角色。
但是在生產環境,建議乙個節點只負責單一角色,以達到高可用性及高效能。同時根據業務需求和硬體資源來合理分配節點。
1.1,節點配置引數
在預設情況下,乙個節點會同時扮演 master eligible node,data node 和 ingest node。
各型別的節點配置引數如下:
節點型別
配置引數
預設值master eligible
node.master
true
data node
node.data
true
ingest node
node.ingest
true
coordinating無-
mlnode.ml
true(需要 enable x-pack)
預設情況下,每個節點都是乙個 coordinating 節點,可以將node.master
,node.data
和node.ingest
同時設定為false
,讓乙個節點只負責coordinating 節點的角色。
1.2,配置單一角色
預設情況下,乙個節點會承擔多個角色,可以通過配置讓乙個節點只負責單一角色。
單一職責節點配置:
data節點
ingest節點
coordinating節點
1.3,水平擴充套件架構
集群的水平擴充套件:
1.4,讀寫分離架構
使用ingest節點對資料預處理。
es 中的文件儲存在索引中,索引的最小儲存單位是分片,不同的索引儲存在不同的分片中。
當討論分片時,一般是基於某個索引的,不同索引之間的分片互不干擾。分片分為主分片和副本分片兩種;副本分片是主分片的拷貝,主要用於備份資料。
關於主副分片數的設定:
副本分片數:副本分片數在索引建立之後可以動態修改。
關於每個節點上的分片數的設定,可參考這裡。
2.1,主分片的設計
如果某個索引只有乙個主分片:
如果某個索引有多個主分片:
缺點:但是主分片數也不能過多,因為對於分片的管理也需要額外的資源開銷。主要會帶來以下問題:
對於分片的設計建議:
從分片數量考慮:
2.2,副本分片的設計
副本分片是主分片的備份:
缺點:容量規劃指的是,在乙個實際專案中:
3.1,要考慮的因素
做容量規劃時要考慮的因素:
業務需求:
3.2,硬體配置
對系統整體效能要求高的,建議使用 ssd,記憶體與硬碟的比例可為 1:10。
對系統整體效能要求一般的,可使用機械硬碟,記憶體與硬碟的比例可為 1:50。
jvm 配置為機器記憶體的一半,建議 jvm 記憶體配置不超過 32 g。
單個節點的資料建議控制在 2tb 以內,最大不超過 5 tb。
3.3,常見應用場景
有如下常見應用場景:
日誌類應用:
1,處理時間序列資料
es 中提供了 date math 索引名用於寫入時間序列的資料。
示例:
請求 uri 要經過 url 編碼:
# put /# 經過 url 編碼後
put /%3cmy-index-%7bnow%2fd%7d%3e
查詢示例:
# post /從 es 5 開始,es 支援開發模式與生產模式,es 可通過配置自動選擇不同的模式去執行:
目錄下的 jvm.options 檔案進行配置,需要注意以下幾點:生產模式配置:
4.1,booststrap 檢測
在生產模式啟動 es 集群時,會進行 booststrap 檢測(只有檢測通過才能啟動成功),它包括:
4.2,jvm 配置
jvm 通過config
4.3,更多的 es 配置集群狀態為green只能代表分片正常分配,不能代表沒有其它問題。
5.1,slow log
es 的 slow log 可以設定一些閾值,當寫入時間或者查詢時間超過這些閾值後,會將相關操作記錄日誌。
5.2,集群診斷
需要監控的指標:
乙個集群診斷工具 support diagnostics。
(本節完。)
推薦閱讀:
elasticsearch 聚合分析
elasticsearch 資料建模
elasticsearch 分布式集群
elasticsearch 集群安全
構建elasticsearch集群
初始化系統環境 在 etc security limits.conf 增加如下兩行 elasticsearch soft nofile 4096 elasticsearch hard nofile 65536 curl o elasticsearch 解壓軟體包 tar xvf elasticsea...
Elasticsearch集群搭建
1 主節點 儲存資料資訊 meta data 元資料 描述資料的資料,客戶端通過主節點獲取真正的資料位置,到資料節點datanode獲取資料分片 2 資料節點 只負責資料的讀和寫 3 負載均衡節點 當主節點連線的客戶端過多,可以引入負載均衡節點 分擔併發,既不是主節點,也不是資料節點 搭建另外兩台e...
Elasticsearch集群搭建
1 分發 scp 2.修改每一台機器的配置檔案 a 集群的名字 cluster.name my es b 節點名字 node.name node 1 c es儲存資料的路徑 path.data home zpark esdata data d es生成log資訊的路徑 path.logs home ...