對抗不可執行告警的四種措施

2021-07-09 05:49:47 字數 1788 閱讀 5530

對於運維團隊而言,很多告警其實並不能幫助他們解決掉實際的問題,相反有時會加重多餘的負擔,這主要是因為大多數的告警並不具備足夠的可執行性:

過量的不可執行告警會造成告警疲勞,浪費時間和資源,從而耽誤你解決實質性的問題,可能這些已經在你身邊正悄無聲息地發生著:

如果有以上這樣的情況,就能確定你是在遭受著告警疲勞,本篇將會列出四種常見的不可執行告警及其解決辦法。

1、無益的標題

問題:標題是告警的重要組成部分,因為它是你第一眼看到的東西。含糊不清的標題會迫使人們為了獲取更多的資訊而對告警主體進行不必要的挖掘,而當不同的告警使用相似的標題時,會使你感到更加沮喪、困惑,導致時間和精力上的浪費。

例子:在收到標題為「cpu load 1.90」的告警後,你又收到乙個標題為「cpu load 1.80」的告警。這倆告警是否是關於同乙個伺服器的呢?負載1.80是否關鍵?這個問題會有什麼影響?如果告警能提供解答而不是新增更多的問題,豈不是更好嗎?

改進措施:所有的告警標題都應該簡短且具有一定的描述性,它們應該讓人在看到第一眼的時候就知道問題是什麼,出現在**並且需要怎樣去解決。例如「server billing-1 load is critical for 5 min」就比「cpu load 1.80」更具有執行性。

2、缺少必要資訊

問題:告警的內容通常是有限或者模糊的,導致我們為了獲取更深層次的理解,往往會花費大量的時間去解讀這些告警,以求查詢到更多的資訊。有時,在 nagios,graphite,pingdom 或 new relic 的某處發現了相關的資訊,但實際上大量的時間並不是用在了解決問題上,而是花在了尋找上面。

改進措施:我們熟練的開啟作業系統鍵入問題資訊,來追蹤那些告警的源頭去進行整體考量。假如告警資訊這個載體能呈現給我們更多有用的源資訊的話,比如:執行的行為或者相關資源的鏈結(這些資源包括指令碼、協議或者研發者對問題發生原因的理解),那麼對於決策和追蹤排查的效能就會有很明顯地提公升.

3、不需要解決的告警

問題:生產環境是複雜且動態的。為了保持系統的穩定性,運維和研發團隊需要讀取到重要的系統資訊。直覺告訴我們,這需要將每個告警和異常通知都給到這些人,然而實際上,大多數的告警收到後並沒有採取有效措施,並且還時常會把有用的告警覆蓋掉。

例子:使用者輸入無效的信用卡賬號,會立即傳送告警,這個資訊應該非常值得關注才對。但我們不能控制使用者的行為,所以一般情況下這個告警只是額外的雜訊而已,對此我們也毫無辦法。

改進措施:如果收到告警後不能立即採取行動,那就別傳送它,而去找到需要你做出反應的問題。例如,把提示無效信用卡賬號的告警替換為乙個可執行的告警,比如指示使用者支付成功率急劇下降的告警———可能系統會做出較大的變化,需要回滾操作。另外一種解決辦法是採用每日或每週報告,彙總不需要實時處理的資訊。這樣,真正有用的資訊就可以實時地被接收來處理。

4、告警分派選擇

問題:在很多公司中,每個人都接收著所有的告警———這種工作模式通常用於小團隊,每個人都參與著所有的事情。然而,當團隊規模變大,人們開始分工時,「告警風暴」很快就變成了拖累。

例子:我們使用的第三方支付提供的資料庫連線出現了問題,此時交給dba團隊處理並不能很好的fix掉問題,還很有可能因為其他原因被忽視。

結論:

具有執行性的告警可以大大減輕你的痛苦,提高每天的工作效率。通過上面提到的簡單改變,可以產生巨大的影響。在如今快節奏的環境中,可執行的告警也許很快就變得不相干了。因此,不斷完善告警也是同樣非常重要的,所以要養成定期瀏覽和刪除不可執行告警的習慣。

本文** oneapm 官方部落格

對稱演算法的四種執行模式

對稱演算法使用乙個金鑰。給定乙個明文和乙個金鑰,加密產生密文,其長度和明文大致相同。解密時,使用的金鑰與加密金鑰相同。對稱演算法主要有四種加密模式 一 電子密碼本模式 electronic code book ecb 這種模式是最早採用和最簡單的模式,它將加密的資料分成若干組,每組的大小跟加密金鑰長...

對稱演算法的四種執行模式

對稱演算法使用乙個金鑰。給定乙個明文和乙個金鑰,加密產生密文,其長度和明文大致相同。解密時,使用的金鑰與加密金鑰相同。對稱演算法主要有四種加密模式 一 電子密碼本模式 electronic code book ecb 這種模式是最早採用和最簡單的模式,它將加密的資料分成若干組,每組的大小跟加密金鑰長...

執行oracle函式的四種方法

最近在對資料庫進行從sqlserver改造到oracle過程中遇到了乙個頭疼的問題,sqlserver 可以返回乙個結構化的資料集,oracle函式不行,要執行函式 含返回值 函式過程中將語句插進事務性臨時表裡再讀取臨時表 找到如下資料,執行oracle函式的方法 1.在定義函式時 如果有引數,則引...