關於雙十二崩盤的一些思考

2022-07-04 06:03:09 字數 690 閱讀 8000

雙十二的時候我們的乙個重要業務崩盤了。

原因其實很簡單,就一句話,流程太大導致某個中介軟體接入層的ha proxy滿載,中介軟體不可用,整個業務基本癱瘓。

從測試的角度去總結一下,大概以後可以有如下的改進。

我們這次的事故是因為比較樂觀,可能技術方案評審的時候就開始盲目樂觀了。

其實流量增長的速度有可能是我們難以去精確預估的,所以技術架構設計的時候我們就要提前準備。

對於測試同學來說,大家可以簡單記住下面一些要點。

事故之前,我們其實對整個架構能支撐的容量做了計算,結論是在當前架構下是可以撐住雙12的峰值的。但是千算萬算卻沒想到中介軟體在接入層之前有ha做負載均衡。這個ha實際上是單點,容量有限,如果提前了解該架構,並且進行擴容的話,事故大概也不會發生。

測試同學在看架構的時候可以先無腦關注單點問題。某個服務或中介軟體是不是單點?如果是,那麼單點掛掉之後對整個系統可用性會不會造成影響?搞清楚這個問題的答案對系統高可用非常關鍵。

問題總會有可能發生的,因此提前準備好預案非常重要。

這次事故發生之前,我們並沒有準備應急預案,因此,當臨時發現了無法動態擴容的ha單點時,我們基本上只能眼睜睜的看著系統掛掉,什麼事情都做不了。

動態擴容屬於亡羊補牢,在問題發生時候的那幾秒,擴容往往是無法迅速完成的,因此提前計算好容量才是關鍵。

最後,下次的活動是在明年的雙十一,嗯,這個鍋要背一年了。

慚愧,慚愧。

關於SpringIOC的一些思考

ioc是 依賴倒置原則 的乙個特例,說其是特例,就是說其具有 依賴倒置原則 的性質。依賴倒置原則強調的兩點是 上層模組和下次模組都依賴於抽象,二者之間通過這種抽象的東西聯絡在一起 具體可以依賴於抽象,而抽象不能依賴於具體。我認為spring提倡的 基於介面程式設計 就是為了遵循 依賴倒置原則 其中所...

關於sizeof 的一些思考

今天面試被問到sizeof,回來整理一下。1 定義 sizeof是c c 中的乙個操作符 operator 作用就是返回乙個物件或者型別所佔的記憶體位元組數。msdn上的解釋為 the sizeof keyword gives the amount of storage,in bytes,assoc...

關於創意的一些思考

2016.12.2 22.20 bgm 古風 這週三的下午 27號 難得去聽了乙個講座 關於以創意為核心的動漫產業鏈價值的最大化 其實還是 由於這個話題吸引了我,演講的是上海美影的老廠長,由於時間的關係,給我們講述了在過去幾年美影廠針對傳統 動畫人物的產業鏈的發展以及注重要中國特色動漫。其實,在這幾...