被刪庫後,微盟放棄自建資料庫,全力上雲
2020 年 2 月 25 日,微盟發布公告稱,公司線上生產環境及資料遭到員工惡意破壞,導致公司系統服務不可用。經過幾天的「搶救」,3 月 1 日,微盟再次發布公告稱,資料已全部找回,將於 3 月 2 日進行系統上線演練,於 3 月 3 日上午 9 點恢復資料正式上線,同時針對受到影響的商家也給出了賠付計畫。
事件回溯
「刪庫跑路」一直是運維人員常掛在嘴邊的戲謔之詞,但當現實生活中真的發生了,還是讓人震驚不已。相信關於微盟被刪庫事件,大家多少都有所耳聞,不過,為了照顧不清楚前因後果的同學,這裡先為大家梳理一下整個事件的經過。
2023年2月23日18時56分,微盟研發中心運維部核心運維人員通過vpn登入伺服器,並對線上生產環境進行了惡意破壞;
2023年2月23日19時,微盟內部系統監控報警,出現大面積服務集群無法響應;
2023年2月25日,微盟緊急恢復了核心業務的線上生產環境,保證新使用者使用不受影響,並提供老使用者臨時過渡方案,確保商家在資料暫時沒有恢復的情況下可以正常經營;
2023年2月28日,微盟恢復了所有業務的線上生產環境,並且開放了老使用者登入,以及恢復了微站產品的所有資料;
3月1日,微盟發公告稱已全面找回資料。
微盟發布的公共中也對接下來的資料恢復工作,做了計畫部署。3月2日凌晨2點至8 點,微盟進行資料恢復上線演練,在此期間微盟系統會停止服務,演練完成後系統資料回滾到3月2日的資料3月2日晚上10點至3 月3日上午9點,微盟將正式進行資料恢復上線, 恢復2月23日之前的資料,同時將2 月23日與3月2日的資料進行合併,完成所有的資料恢復工作。
微盟事後處理方法
根據公開資料顯示,微盟目前的渠道**商超1600家,註冊商戶超300萬。此次微盟宕機或導致300萬商家生意停擺,損失巨大。因此,微盟也公布了商家賠付計畫,整體準備了1.5億元人民幣賠付撥備金,其中微盟公司承擔1億元,管理層承擔5000萬元。
針對商家因系統不可以而造成的不同損失,微盟也制定了不同的賠付方案:
現金賠付計畫
針對因系統不可用而造成利潤損失的商戶,微盟將按照商家邊際貢獻利潤額進行賠付,具體公式計算如下:
邊際貢獻利潤額 = 日均收入×行業平均邊際貢獻利潤率×系統故障時間
流量賠付計畫
放棄自建資料庫,基礎設施全力上雲
以上是經濟方面的賠償,在技術方面,此次核心運維對微盟生產環境和資料造成破壞,使得商家對微盟系統安全和穩定性產生了質疑,同時也給微盟自己敲響了警鐘。
除了之外,微盟還宣布將加強資料安全管理機制和安全災備體系建設。
針對開發環境、測試環境和生產環境進行嚴格隔離,使用雲堡壘機替換自建堡壘機,進行細粒度許可權分級和授權管理,嚴格審計操作日誌,傳送安全審計報表。
刪庫事件如何避免和補救?
回顧最近幾年的刪庫事件,我們發現並不在少數,刪庫原因也各種各樣,有誤刪,有介質損壞,也有人為刪除的。
2023年5月,攜程員工操作失誤,刪除了生產伺服器上的執行**,導致官方**和應用程式大面積癱瘓,無法正常使用;2017 年1月,開源**託管平台gitlab系統管理員對資料庫進行日常維護時,無意中執行了資料庫目錄刪除命令,導致300gb的原始資料只保留了4.5g,gitlab 被迫下線。
人肉運維是隱患
「直接在生產環境中敲命令是一種非常不好的習慣。」左耳朵耗子曾表示,乙個公司的運維能力的強弱和上線上環境敲命令是有關的,越是喜歡上線敲命令你的運維能力就越弱,越是通過自動化來處理問題,你的運維能力就越強。真正良性的運維能力是——人管**,**管機器,而不是人管機器。你敲了什麼命令沒人知道,但是你寫個工具做變更線上系統,這個工具幹了什麼事,看看工具的原始碼就知道了。
資料備份系統足夠強
系統是需要做資料備份的,但有時就算所有的備份都可以也會避免的出現資料丟失。左耳朵耗子表示:「如果你要讓你的備份系統隨時都可以用,那麼就要讓它隨時都live 著,而隨時都live著的多結點系統,基本上就是乙個分布式的高可用的系統。因為資料丟失的原因有很多種,比如掉電、磁碟損壞、中病毒等等,而那些流程、規則、人肉檢查、許可權系統、checklist 等等都只是讓人不要誤操作,都不管用,這個時候,你不得不用更好的技術去設計出乙個高可用的系統!別無它法!
msp上雲是個好方法
技術專家認為資料放在雲端的保險係數還是相對較高的,因為雲端有足夠多的公共資源作為支撐。其中,快照和異地遠端複製災備服務是雲端提供的非常好用的功能,建議大家使用。當發生資料刪除時,可以使用快照迅速恢復或者回滾到某個歷史時刻,然後再通過其他方法補平到最新資料狀態;而雲端異地遠端複製災備服務也是比較成熟的技術,相比本地實施的容災,初期投入更加划算。
建立分級授權機制
即使資料容災做得再好,也難以避免內部人員的主動破壞,因此建立分級授權機制是很有必要的,高危操作必須多人仲裁表決才能執行。
本文**網路,站長持續關注微盟的事件,因為對於saas應用而言,資料庫是核心,此次事件我們應該引以為戒。
綠盟資料庫審計系統hive 綠盟資料庫審計系統
業務系統無感審計 穩 系統主要採用旁路映象方式部署,將客戶資料庫的網路流量單向引出,能做到對客戶業務網路零影響,對客戶業務系統無感知,從而保證客戶原有業務系統的穩定執行。終端使用者審計能力 準 系統利用web外掛程式關聯技術,將應用層和資料庫層的訪問操作請求關聯,可以追溯到應用層的原來訪問資料及請求...
雲端資料庫切換至自建機房資料庫
更新 mysql 5.1 mysql 5.6 公司將阿里雲redis資料庫更新至自建機房資料庫,我第一次嘗試採用的是先備份,後恢復。實際操作過程中,通過sqlyog 備份出bak.sql檔案,備份完成後我就嘗試匯入sql檔案。匯入執行後,報錯unknown collation utf8mb4 uni...
MySQL資料庫被刪除如何恢復
第一步 保證mysql已經開啟binlog,檢視命令 檢視binklog是否開啟 show variables like log bin 檢視binlog存放日誌檔案目錄 如下圖,博主binlog目錄為 data mysql show variables like datadir 值為off,需開啟...