配置檔案位於%es_home%/config/elasticsearch.yml檔案中,用editplus開啟它,你便可以進行配置。
所有的配置都可以使用環境變數,例如:
node.rack: $
表示環境變數中有乙個rack_env_var變數。
下面列舉一下elasticsearch的可配置項:
1. 集群名稱,預設為elasticsearch:
cluster.name: elasticsearch
2. 節點名稱,es啟動時會自動建立節點名稱,但你也可進行配置:
node.name: "franz kafka"
3. 是否作為主節點,每個節點都可以被配置成為主節點,預設值為true:
node.master: true
4. 是否儲存資料,即儲存索引片段,預設值為true:
node.data: true
master和data同時配置會產生一些奇異的效果:
1) 當master為false,而data為true時,會對該節點產生嚴重負荷;
2) 當master為true,而data為false時,該節點作為乙個協調者;
3) 當master為false,data也為false時,該節點就變成了乙個負載均衡器。
你可以通過連線http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes,或者使用外掛程式或來檢視集群狀態。
5. 每個節點都可以定義一些與之關聯的通用屬性,用於後期集群進行碎片分配時的過濾:
node.rack: rack314
6. 預設情況下,多個節點可以在同乙個安裝路徑啟動,如果你想讓你的es只啟動乙個節點,可以進行如下設定:
node.max_local_storage_nodes: 1
7. 設定乙個索引的碎片數量,預設值為5:
index.number_of_shards: 5
8. 設定乙個索引可被複製的數量,預設值為1:
index.number_of_replicas: 1
當你想要禁用公布式時,你可以進行如下設定:
index.number_of_shards: 1
index.number_of_replicas: 0
這兩個屬性的設定直接影響集群中索引和搜尋操作的執行。假設你有足夠的機器來持有碎片和複製品,那麼可以按如下規則設定這兩個值:
1) 擁有更多的碎片可以提公升索引執行能力,並允許通過機器分發乙個大型的索引;
2) 擁有更多的複製器能夠提公升搜尋執行能力以及集群能力。
對於乙個索引來說,number_of_shards只能設定一次,而number_of_replicas可以使用索引更新設定api在任何時候被增加或者減少。
elasticsearch關注載入均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。
可以連線http://localhost:9200/a/_status來檢測索引的狀態。
9. 配置檔案所在的位置,即elasticsearch.yml和logging.yml所在的位置:
path.conf: /path/to/conf
10. 分配給當前節點的索引資料所在的位置:
path.data: /path/to/data
可以可選擇的包含乙個以上的位置,使得資料在檔案級別跨越位置,這樣在建立時就有更多的自由路徑,如:
path.data: /path/to/data1,/path/to/data2
11. 臨時檔案位置:
path.work: /path/to/work
12. 日誌檔案所在位置:
path.logs: /path/to/logs
13. 外掛程式安裝位置:
path.plugins: /path/to/plugins
14. 外掛程式託管位置,若列表中的某乙個外掛程式未安裝,則節點無法啟動:
15. jvm開始交換時,elasticsearch表現並不好:你需要保障jvm不進行交換,可以將bootstrap.mlockall設定為true禁止交換:
bootstrap.mlockall: true
請確保es_min_mem和es_max_mem的值是一樣的,並且能夠為elasticsearch分配足夠的內在,並為系統操作保留足夠的記憶體。
network.bind_host: 192.168.0.1
network.publish_host: 192.168.0.1
18. bind_host和publish_host可以一起設定:
network.host: 192.168.0.1
19. 可以定製該節點與其他節點互動的埠:
transport.tcp.port: 9300
20. 節點間互動時,可以設定是否壓縮,轉為為不壓縮:
transport.tcp.compress: true
21. 可以為http傳輸監聽定製埠:
22. 設定內容的最大長度:
. 禁止http
. 閘道器允許在所有集群重啟後持有集群狀態,集群狀態的變更都會被儲存下來,當第一次啟用集群時,可以從閘道器中讀取到狀態,預設閘道器型別(也是推薦的)是local:
gateway.type: local25
. 允許在n個節點啟動後恢復過程:
gateway.recover_after_nodes: 126
gateway.recover_after_time: 5m27
. 設定該集群中可存在的節點上限:
gateway.expected_nodes: 228
. 設定乙個節點的併發數量,有兩種情況,一種是在初始復甦過程中:
cluster.routing.allocation.node_initial_primaries_recoveries: 4
另一種是在新增、刪除節點及調整時:
cluster.routing.allocation.node_concurrent_recoveries: 229
. 設定復甦時的吞吐量,預設情況下是無限的:
indices.recovery.max_size_per_sec: 0
30. 設定從對等節點恢復片段時開啟的流的數量上限:
indices.recovery.concurrent_streams: 531
. 設定乙個集群中主節點的數量,當多於三個節點時,該值可在2-4之間:
discovery.zen.minimum_master_nodes: 132
. 設定ping其他節點時的超時時間,網路比較慢時可將該值設大:
discovery.zen.ping.timeout: 3s
上有更多關於discovery的設定。33
. 禁止當前節點發現多個集群節點,預設值為true:
discovery.zen.ping.multicast.enabled: false34
. 設定新節點被啟動時能夠發現的主節點列表(主要用於不同網段機器連線):
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portx-porty]"]
35.設定是否可以通過正則或者_all刪除或者關閉索引
action.destructive_requires_name 預設false 允許 可設定true不允許
分布式搜尋elasticsearch配置檔案詳解
elasticsearch的config資料夾裡面有兩個配置檔案 elasticsearch.yml和logging.yml,第乙個是es的基本配置檔案,第二個是日誌配置檔案。elasticsearch.yml檔案中可以配置的如下 cluster.name elasticsearch 配置es的集群...
分布式搜尋方案選型
solr官網 我在學校專案實踐時使用過solandra,它是乙個基於solr和nosql資料庫cassandra的分布式搜尋引擎。cassandra是由facebook開源的nosql數 據庫,facebook的信箱搜尋就是基於它實現的,它是基於列結構的,不同與關聯式資料庫。它的數學模型基於goog...
分布式搜尋演算法
對於搜尋引擎來說,索引存放在成千上萬臺機器上,如何進行分布式搜尋呢?假設搜尋結果是以分頁的方式顯示,以 pagenumber 代表當前頁,從1 開始,以 pagesize 代表頁面大小 預設為 10,以n代表 搜尋伺服器數量 最簡單的 分布式搜尋演算法 為 有一台合併伺服器負責接受使用者的搜尋請求,...