大資料模式已經到來!個體既是資料的創造者也是資料的使用者,醫療,科技,教育領域都早已參與其中。並創造無數的好產品和價值。核心資料搜尋和推薦、電商定點廣告和推送,基因健康**等都在不斷重新定義網際網路的生活。人們的生活並因此而改變。大資料的確對社會進步會產生深遠影響和意義。簡單來說就是資料可以產生價值!
每個人都在工作中對結果負責並為此帶來效益和價值,同時有些人衝在一線在做體系之外的綠葉。他們的工作不直接產生效益但是他們可以足夠影響效益結果,這就是苦逼而沉默的運維。默默無聞的運維一代是否可以真正爆發,來證明自己的存在意義和價值。讓自己的未來工作充滿驅動力和想象力,這就需要運維拯救自己。特別是在網際網路衝擊時代下的運維更要如此,那麼在運維時代的你和我,如何能夠了解資料價值呢?
不要讓老闆在有問題的時候才感覺到你的存在!這是多麼痛的領悟啊!想到這裡就眼鏡濕潤的想起了自己的夢想,我可不是想這樣工作下去。的確需要改變,一定要打破「出了問題是你的,不出問題你應該做的」 這樣的狗屁理念。那麼我們就要提出資料運維的概念。
一、工程資料
描述出你所運維的系統或者工程專案的所有價值資料,體現如下:
1.工單數量
這裡應該包括你的每天完成工單的質量和時間。而且要有平台視覺化的體現。在完成工單的同時對業務的穩定性和目的要加以描述讓你的工作變得更有意義。
2.sla可用性
在老闆眼裡只關心兩件事:一是他賺了多少錢,二是他花了多少錢。 sla影響產品和業務效能也就間接影響老闆的財路。所以這裡要完美的體現出來你在幫老闆賺錢了。我希望的是運維的同行真的每週的報表裡要體現出來並為此運維所做的努力和付出。哪怕只有三個9這也是我們努力過的。
3.基礎資源
我們運維的伺服器數量和網路裝置數量,idc數量。之間的資料互動延時多少。我們每天的業務呼叫數量是多少? 呼叫的rtt如何? 我們報廢的裝置多少等等這些都要體現出來。反正這些資料即使你不主動表達一般的老闆也不會臺關心。除非你發生了故障...
4.故障率
沒有故障是大家的集體願望。但是所有的事件都是有規律和原因的。可能是我們的不經意的乙個公升級zlib庫就會導致服務不可用。所以,我還是願意在平台化上展示出這些資料。如果有進步讓老闆看到實際變化,如果沒有對自己的工作也是乙個重要的警醒。
5.報警統計
如果要消滅報警,我們就可以高枕無憂了。也有人說消滅報警自己tm 不就失業了嗎? 但是老天會告訴你失業除非是你rm了伺服器上的資源,否則老天會保佑你的,我們通過報警資料的統計根據內容做一些資料探勘和提前預警。同時也要對報警內容進行問題分析和指引。如果老闆欣喜的看到了你把簡訊報警的條數已經控制在3%以內,那麼老闆沒有理由不給你漲工資的。
二、業務資料
業務運維系統的價值資料。如下:
1.業務dashboard
說白一點就是類似業務層的監控資料。我們可以做一些資料彙總然後平台化展示出來。比如業務的可用性訪問狀態,訪問量的資料狀態,dns解析服務的狀態,模擬產品化的監控狀態等。可以讓這些資料活的更有價值從而也更直觀體現出業務的穩定狀態。
2.trace呼叫鏈
3.業務拓撲切換
有很多的重要業務都不是單點在乙個idc中心,往往多活在多個地方為了可控單點風險。所以在這樣繁雜的業務體系當中,經常會有業務的穩定性切換。
比如模組降級次數,比如切換頻率,切換之後的穩定時間,切換之後的訪問質量等這些都需要資料描繪出來。
4.業務指標
每個運維要明確自己的服務的業務指標。如果是做web要看訪問量,如果是做電商要看訂單率等。而且要實時展示出來自己的業務指標。我們可以根據歷史資料和經驗進行**和總結。比如我們要擴容頻寬,我們要購買伺服器這些資料都是我們的依據。
5.業務基準資料
比如運維鎖伺服器的平台的業務最大qps,購買新伺服器硬體效能的測試基準資料。在業務模式下的資源狀態資料都需要記錄和展現,特別是對我們在處理問題的時候能提供強大的依據。
6.業務日誌挖掘
原來我們就習慣使用syslogd做統一化展現。現在的大資料時代激情四射早已顛覆了傳統的技術。elk就有一統江湖的意思。同時也有很多大公司開始自修復系統,其實深度**就是做資料探勘。根據我們所有收集到的日誌做挖掘,展現。最後做排程分配,自修復,子降級。這也是我個人非常期待的事情。
三、資料如何有效展示
1.平台視覺化
運維的本質-視覺化,我覺得視覺化是描述資料最好的方式方法。我們根據資料做歸檔,做分析,做rrd,最後分析展示這本身也是想表達我們的本意。
2.業務耦合關聯
這個就是說如何讓老闆,讓rd能夠容納我們的平台。本來我們是說要展現自己但是這裡就涉及到邊界問題。因為有些資料需要和業務互動,有些資料需要和伺服器互動。這就需要和業務解耦過程是否無汙染的影響業務,是否可以有良好的api實現都是非常的關鍵。
3.溝通先行
我們在做這些事情的時候要給予老闆希望與細心,闡述我們的目的和價值。因為我們在完善乙個看似意義不大的平台。所以這裡一定要多接觸業務,運營闡述我們自己的想法給予我們足夠的時間來作這些事情。
4.技術方向
其實這裡做平台化的體系,語言工具太多了。我覺得還是那句話擁抱開源,避免重複造輪子! 因為當我們爭取到的時間,我們就已經有kpi在身了。如何能用好身邊的資源和把控時間非常重要。因為一旦專案失敗所有的印象都會要在從0開始。
資料對於我們的工作和生活都足夠重要。我們要尊重科技學會善用資料來為我們的工作支撐方向,體現價值!運維的工作特性也是特別需要資料來體現。足可以提高我們的存在價值和對工作的長遠影響。希望這些能夠對運維的兄弟有所幫助!
運維發布版本步驟 常用的運維工具有哪些
說到運維,今天要說一說有關運維工具的介紹,linux運維工程師在運營過程中需要用到哪些運維工具呢?對於從事過運維的朋友來說或許知道一些,但是並不全國,這裡,it培訓網給大家聊聊有關運維工具的相關介紹,說一說運維工具有哪些?常用的運維工具有哪些?一 運維流程管理工具 1 發布變更流程管理工具 做為系統...
運維需要關心的資料有哪些?
運維是乙個公司的 伺服器穩定執行的守護者,其實就是個背鍋的。往往給領導的印象是 出問題是你的,不出問題是應該的。這絕對不是我們想看到的。那麼我們需要提高自己的水平,用資料說話,來證明自己的價值。描述出你所運維的系統或者工程專案的所有價值資料,體現如下 1.工單數量 包括你的每天完成工單的質量和時間。...
大資料運維 結語 大資料運維,大有作為
高俊峰 南非螞蟻 你好,看到這裡,恭喜你學完了本專欄的全部內容。本專欄的定位是零基礎入門大資料運維,所以你學習的內容更多是關於大資料平台各個元件的安裝 部署和配置,這些技術看似簡單,但操作起來,其實一點也不簡單。大資料平台中涉及的技術,都需要 理解原理 執行機制 才能順利完成配置,也只有完成了安裝部...