安裝elasticsearch , logstash, kibana
安裝elasticsearch
安裝
docker run \
-d \
--name elasticsearch \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
docker.elastic.co/elasticsearch/elasticsearch:6.2.4
安裝kibana
docker run \
-d \
-u 0 \
--name kibana \
-p 5601:5601\
docker.elastic.co/kibana/kibana:6.2.4
找到kibana的配置檔案:/usr/share/kibana/config/ kibana.yml
修改配置檔案,因為要繞過x-pack的安全檢查
重啟容器:docker restart kibana
安裝logstash
docker run \
-d \
-u 0 \
--name logstash \
-p 5044:5044\
docker.elastic.co/logstash/logstash:6.2.4
找到檔案:/usr/share/logstash/pipeline
修改配置檔案logstash.conf
input
}output
stdout
}
注意：配置中的localhost 替換成伺服器位址，如果直接使用localhost 會導致，logstash 服務無法連線上elasticsearch 服務，導致spring cloud 專案服務連線到 logstash 服務時，該服務會報錯，將拒絕專案連線elk 日誌服務。
訪問客戶端：
spring cloud 模組服務配置logstash
新建日誌檔案logback-spring.xml
//引入過濾類
pom.xml 引入jar
net.logstash.logback
logstash-logback-encoder
4.9
注意：如果勾選include system indices 後，無法在列表中找到專案中日誌配置檔案中的索引名稱，說明，elk 的日誌收集配置沒有配通，請一步一步查詢原因。
查詢方法：檢視 logstash 日誌，專案啟動時，是否有連線資料列印出來，日誌中列印的話就繼續尋找下步。
查詢路徑：專案日誌 --->logstash ---->elasticsearch ---->kibana
如順利配置通後，就可以到該頁面檢視
到這裡，簡單的整個配置完成，如果需要更深入的了解，請檢視官方文件。
訓練集 驗證集 測試集
訓練集loss 驗證集loss 測試集loss 乙個好的網路，二者的差距應該是很低的。但一般情況下因為網路不可避免地存在一定程度上的過擬合，所以肯定是train loss低於test lost，但如果低太多，就得考慮是過擬合的問題還是因為樣本的特徵空間不統一的問題。驗證集基本是在每個epoch完成後...
訓練集，驗證集，測試集
普通引數就是可以被梯度下降所更新的，也就是訓練集所更新的引數。超引數是指訓練開始之前設定的引數，不在梯度下降的更新範圍內，比如網路層數 網路節點數 迭代次數 學習率等等 1.訓練集 確定模型後，用於訓練普通引數 2.驗證集 交叉驗證集cv 驗證集在每個epoch訓練完成後，用來測試一下當前模型的準確...
訓練集 測試集 驗證集
訓練集 用來訓練和擬合模型。驗證集 當通過訓練集訓練出多個模型後，使用驗證集資料糾偏或比較 測試集 模型泛化能力的考量。泛化 對未知資料的 能力 from sklearn.model selection import train test split import numpy as np from ...