應急演練會議的心得體會
最近一周都要抽點時間去搞應急演練,本來只寫了個方案,後來市場部還有中心的非技術領導覺得寫成演練指令碼會更讓他們明白(有點像演戲的指令碼)。這兩天都是領導在調改應急演練指令碼,畢竟,組織語言方面領導還是比較在行的。今天下午就去「演戲」了,一人乙個角色。未去之前我覺得是不會讓我們從頭唸到尾的,因為,從頭演下來,還真的挺無聊的~~雖然說是走走過場,果不其然。整個會下來,有點失策了,會議後半場才想起錄音的,因為怕丟了資訊,雖然最後還是錄了半小時,前面只能靠人腦去記了。還有乙個自己都想把自己給埋了的狀況,我竟然沒帶筆!!!之前以為洗完書包把筆放回去了(特殊時期,果然腦子不太好使)
這個會議主要是給中心業務部負責人說明白演練流程的。我們都沒開始念對白,僅僅念完開場白及主持人(都是我們經理演)一些套話,他就打斷了,因為,聽不懂,說應該結合方案給他說,得淺顯易懂!!!外行人,非技術人員都要能聽懂的!!!
幸好借了旁邊妹子的筆,不然回來估計全忘光了,雖然可以聽最後半小時的錄音。
簡單說下,演練的系統在**分類裡面屬於乙個內容管理方面的**,意味著內容如果遭到惡意篡改,比如跳轉到反動暴力資訊頁面,會造成很大的社會影響:導致糟糕的使用者體驗及降低企業信譽。所以對於應急演練方案上面的定級中,最應該考慮的是**被篡改的情況!!!遭遇ddos攻擊或者各種原因導致**訪問不了,這些都是不及前者危害大的。
給他們(業務部+技術部,我之前只匯報給技術部,以後也要注意下),不能讓他們完全不知情,最後再是技術人員去找出原因。因為技術人員的通病就是(包括我自己在內),一遇到問題就會埋頭苦幹,想查出問題的原因,一般極少會考慮外面的情況,如果你把應急事件公升級了(他們說的公升級是超過30分鐘,事件就會從一般事件公升級到較大事件,隨著時間的推移,甚至會變成特大影響事件),後續會有很多麻煩事要跟進的,甚至最糟糕的情況是可能你會被革職(當然這個是我想的)。我知道,技術人員肯定不是故意的啦,一般都是比較單純滴,就是技術情結作祟,以為自己可以在短時間內解決,但有時候問題沒你想的那麼簡單,可能短時間內都會沒有任何處理進展的。所以這個處理順序要調整下,出問題時不能是技術人員一直自己查查查,也要關心周邊情況。
這個內容管理**在我入職以來,出現的都是一般故障。一般就是30分鐘內能處理好的,出現問題最多的是waf中斷導致**訪問不了的情況,這個時候一般就是切斷這個大門先咯,因為waf是天翼雲那邊搞的,我們能做的是把網域名稱解析回源站ip,不要指到有問題的waf位址,直到他們通知已經解決好再開回這個大門。
另外他們提到這個應急演練事件的定性問題,主要要從3個方面著手:
(1)內容是否受到篡改/損壞,丟資料,被刪了資料?
——》 有:肯定不能是一般事件了
(2)造成的影響?
——》對社會有影響:也肯定不能算是一般事件
(3)預計什麼時候恢復好?
——》30分鐘內:定性為一般事件
我提下,對於特別重大事件,比如雲服務商被劫持,整個廣東省光纖壞了,他們說要補個異地災備的預防措施的寫法(雖然這種情況非常極端,估計10年都不會出現一次),機房不能放在同乙個地方,兩者之間距離越長越好;或者
所以整個會議下來,傳達給我們的意思就是 ——》
盡量將事件控制在30分鐘內,把事件降低為一般事件來進行解決!(反正入職以來,基本都能處理好【故障報告寫的極少,上家公司寫故障報告寫到怕= =】),
我先粗略講下這些突發事件,我是如何比較有信心在30分鐘內恢復**訪問的。天翼雲waf那個問題我已經講過就不說了。
(1)對於首頁搜尋框失效搜尋不了的情況,我做了兩手準備。因為這個搜尋框(線上的乙個服務)實質上是去查內網資料庫獲取搜尋內容的,內網的資料庫埠要對映到公網,給線上伺服器去訪問。現在是通過ngrok反向**內網資料庫埠給線上連的,線上跑的伺服器能以網域名稱的形式連線內網資料庫來獲得資料;之前一直用開的是autossh的反向**,它的**原理是要開線上伺服器的ssh埠,而且因為公司出口ip一直會改變,所以不好限制ssh埠開放的ip網段,不限制ip去連的話相當於把伺服器的ssh埠暴露在公網下,有些傢伙掃到這個埠就一直ssh暴力嘗試破解伺服器登入密碼,搞到很多報警(/var/log/secure有很多錯誤失敗登入日誌)。但作為候選方案去恢復服務還是可以頂替著先的,所以這就是我的第二手準備了,畢竟出問題時,恢復**正常訪問才是最重要的。即出問題的時候我會切回到這種方法去保證這個搜尋框能用,不至於說搜尋框搜尋內容是返回空白的。然後剩下的時間,就是慢慢排查為什麼ngrok**的方法,網域名稱連線的形式為訪問不了內網資料庫,譬如是因為ngrok服務端服務停止了,或者ngrok客戶端服務停了,甚至是因為ngrok證書過期了,都會導致連不上的。
(2)第二個舉例故障事件,**訪問不了,頁面空白,主伺服器遠端登入都登不上了,天翼雲的控制台也連不了,完全處於失聯狀態(我記得那會7點的時候領導就打**叫醒我了),最後是通過天翼工程師去幫忙搞的,說是networkmanager服務關了,伺服器dhcp獲取不了內網ip,相當於伺服器自己跑著,跟外界完全失去通訊,那時候幸好有個備機,nginx入口**我轉過去了,不然真的會成特大故障的。入口伺服器(也就是nginx)我後來也做了雙機熱備,誰知道下次會不會遇到攻擊入口伺服器的情況呢。
所以凡事得做好兩手準備,不然隨著時間推移,就會釀成大禍~~~~
心得文就寫到這裡了,以後要是有新增了別的措施去預防,也會補上去噠 ^__^
PHP PDO 心得體會
關於pdo 我想可以不用做過多的描述,寫一寫最近的使用心得體會 首先 關於如何使用pdo 連線到資料庫 dbms mysql 使用的資料庫 host localhost 選擇的主機 dbname test 選擇的資料庫 user root 登陸的使用者名稱 password 使用者密碼 dsn dm...
銷售心得體會
銷售思維的培養 1.裝可憐讓客戶動惻隱之心是一種方法但是不適合男人 2.身處高位的銷售領導往往擁有給客戶的折扣和動用資源的優勢,不要當綠葉,要按兵不動尋找時機 3.市場上的大客戶與哪家合作就會成為標桿事件,哪家公司就會成為一線公司。4.站在客戶的角度,在業務上給予中肯的意見,得到客戶的感謝和認可。5...
面試心得體會
最近開發人手短缺成了大問題,因此招人也成了乙個重要任務。通過這幾天的面試,對這方面有了一些心得體會。一是it企業需要哪方面素質的人才。我感覺關鍵有兩條,一是能幹活,二是能合作。企業為什麼青睞有經驗的人?因為來了就能幹活。當然對於學生而言,經驗缺乏是一大缺陷,這就要展現另一方面 我具備成為幹活能手的能...