---恢復內容開始---
# elasticsearch入坑指南之概述及安裝
elasticsearch（簡稱es）基於lucene的分布式全文檢索引擎。使用es可以實現近實時的儲存、檢索及海量資料的分析。
es可以應用於以下場景
es核心概念
水平拆分/拓展
通過分布式和跨shared操作提公升效能及吞吐
在 shard/node 故障的情況下提供了高可用性。為了達到這個目的，需要注意的是在原始的/主 shard 被複製時副本的 shard 不會被分配到相同的節點上。
它可以讓你水平擴充套件搜尋量/吞吐量，因為搜尋可以在所有的副本上並行執行。
es相關概念與關係型資料庫的對比
|關係型資料庫|elasticsearch|
|--------|--------|
|資料庫database|索引index，支援全文索引|
|表table|型別type|
|資料行row|文件document，沒有固定文件結構，不同文件可以有不同字段集合|
|資料列column|欄位field|
---安裝和配置
wget -p downloads
#解壓es安裝包至指定目錄
#開啟es安裝目錄
#啟動es
bin/elasticsearch
#後台啟動es
bin/elasticsearch -d
#建立es使用者組
groupadd esgroup
#增加es使用者並附加到es組
useradd esuser -g esgroup -p espassword
#給予目錄許可權
#切換為esuser使用者
su esuser
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
#切換為root使用者
su root
#修改配置檔案
vi /etc/security/limits.d/90-nproc.conf
#空白處新增以下內容
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
#切換為root使用者
su root
#修改配置檔案
vi /etc/sysctl.conf
#空白處新增以下內容
vm.max_map_count=262144
#執行命令
sysctl -p
#編輯es配置檔案
vim config/elasticsearch.yml
#修改network.host: 0.0.0.0（預設es只能本機訪問，單機測試使用不涉及集群相關配置）
中文分詞
拼音分詞
#安裝中文分詞
bin/elasticsearch-plugin install
#測試是否安裝成功
#安裝拼音分詞
bin/elasticsearch-plugin install
kibana是乙個與elasticsearch一起工作的開源的分析和視覺化的平台。使用kibana可以查詢、檢視並與儲存在elasticsearch索引的資料進行互動操作。使用kibana能執行高階的資料分析，並能以圖表、**和地圖的形式檢視資料。
參考位址
wget -p downloads
#安裝kibana
sudo rpm --install kibana-6.2.3-x86_64.rpm
#查詢kibana配置檔案路徑
find / -name kibana.yml
#修改kibana配置
vim /etc/kibana/kibana.yml
#啟動kinaba
cd /usr/share/kibana
bin/kibana
#改使用者及使用者組
vim /etc/systemd/system/kibana.service
#修改為
user=esuser
group=esgroup
#開機啟動kinaba
systemctl daemon-reload
systemctl start kibana
#賦予使用者執行許可權或切換root賬戶執行
#修改kibana配置
vim /etc/kibana/kibana.yml
elasticsearch.url修改為ip加埠格式，檢查elasticsearch配置是否正確
其它
ps -aux | grep kibana
kill -9 16452
/var/log/messages
WSL入坑與踩坑
這篇文章，將會娓娓道來我使用wsl的經歷，包括如何安裝以及早期玩家踩的一些坑。這是乙個很好的工具，與vscode簡直是絕配。wsl是什麼 適用於 linux 的 windows 子系統可讓開發人員按原樣執行 gnu linux 環境 包括大多數命令列工具 實用工具和應用程式 且不會產生傳統虛擬機器或...
棄坑pexpect，入坑paramiko
上文書說到，ssh庫pexpect的使用，簡直就是個 月亮公主 滿眼全是坑。勉強把程式寫好了，跑起來的時候發現了乙個新坑，讓我不可抗拒的把它棄掉了 經常莫名其妙的連不上伺服器！開執行緒連線14臺伺服器，總有1到3臺連不上，還查不到原因。這還了得！一怒之下把寫好的pexpect封裝庫刪掉了，用para...
Kafka入坑指南
kafka是為大資料而生的訊息中介軟體，以其百萬級tps的吞吐量名聲大噪，迅速成為大資料領域的寵兒，在資料採集 傳輸 儲存的過程中發揮著舉足輕重的作用，而storm，spark，flink等大資料流處理或批處理平台都有kafka的相關外掛程式支援。本著為開源做貢獻的原則，在學習kafka的同時也參與...