摘要： 前言 本文可能不會詳細記錄每一步實現的過程，但一定程度上可以引領小夥伴走向更開闊的視野，串聯每個環節，呈現予你不一樣的效果。 業務規模 8個平台 100+臺伺服器 10+個集群分組 微服務600+ 使用者n+ 面臨問題 隨著分布式微服務容器技術的發展，傳統監控系統面臨許多問題： 容器如何監控 微服務如何監控 集群效能如何進行分析計算 如何管理agent端大量配置指令碼 這些都是傳統監控所要面臨的棘手問題，那麼如何解決當前遇到的問題，gpe橫空出世，後面會重點分析。
本文可能不會詳細記錄每一步實現的過程，但一定程度上可以引領小夥伴走向更開闊的視野，串聯每個環節，呈現予你不一樣的效果。
隨著分布式微服務容器技術的發展，傳統監控系統面臨許多問題：
這些都是傳統監控所要面臨的棘手問題，那麼如何解決當前遇到的問題，gpe橫空出世，後面會重點分析。
隨著分布式微服務的盛行，功能模組的拆分細化，無論對於開發還是運維，日誌的重要性都是不言而喻的，但是如何儲存分析定位檢視日誌，一百個公司可能會有兩百種做法。有的很少記錄日誌，有的日誌等級都不分，有的寫入文字然後就不管不問了，有的向mysql資料庫一扔也沒有了下文，等到使用者投訴或者被發現問題，才會翻一翻。
那麼如何正確優雅的記錄日誌呢？相信大家對於elk並不陌生，可能不少小夥伴都接觸過，對於中小型網際網路創業公司來說，使用elk搭建日誌分析系統的確是乙個不錯的選擇。
elk由elasticsearch、logstash和kibana三劍客組成，當然了以上是最基本的元件，為了使的架構流程更加豐滿，我們加入了redis做緩衝佇列，配置了sendmail做異常日誌告警。
elasticsearch
elasticsearch是乙個基於lucene的搜尋伺服器。它提供了乙個分布式多使用者能力的全文搜尋引擎，基於restful web介面。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面等。
logstash
logstash資料分析工具，它可以對系統生成的的日誌進行採集、分析，儲存。2013 年，logstash 被 elasticsearch 公司收購，elk stack 正式成為官方用語。
kibana
kibana是乙個開源的分析與視覺化平台，用來搜尋、檢視儲存在elasticsearch索引中的資料。
elk主要收集分析預警的是我們平台系統中各個服務的業務日誌，一般通過日誌元件(log4j 、log4j2 、logback)來收集並寫入文字。但是對於系統本身以及一些應用軟體的監控預警，這套方案顯然是不合適的，這裡推薦一下gpe三劍客，當然了gpe是我自己意淫出來的組合。
grafana、prometheus、exporter(一系列外掛程式)，自定義的三劍客，當然了為了使得整合監控程式更加流暢完整，我們加入了註冊中心consul做服務發現，實現動態新增服務，使用郵件、釘釘以及webhook實現異常告警。
gpe元件只是其中的一種實現方式罷了，grafana配合influxdata提供telegraf也可以收集很多metrics，實現更為豐富的大屏監控預警。
閱讀原文
hadoop環境搭建 從零開始
對hadoop的認識只停留在是mapreduce的一種實現工具，大資料，分布式等抽象層面，完全沒有具象了解。搭建環境，完全從零開始，走了挺多彎路。總結之。0.目前較為普遍的起步方式是在虛擬機器上模擬多台搭建hadoop。初始時為調查找問，魯莽從cygwin下手，結果被缺失的linux知識打敗，浪費很...
如何從零開始搭建Docker Swarm集群
需求1.docker版本1.4.0 2.兩台節點主機 檢查節點docker配置 1.開啟docker配置檔案 示例是centos 7 vim etc sysconfig docker 2.新增 h tcp 到options options g cutome path docker h tcp 3.c...
從零開始搭建深度學習環境
開始深度學習調參之路不能沒有乙個趁手的環境 安裝基礎環境 我使用的機器環境是 ubuntu18.04 安裝顯示卡驅動 1.2.按照cuda所需的版本安裝 3.sudo ubuntu drivers autoinstall 安裝pip sudo apt get install python pip 安...