繼續向大家匯報阿里雲上的天氣變化情況。今天(5月8日)上午糟糕的天氣(8:30~9:50,10:50~11:40)給大家逛園帶來了很大的麻煩,請諒解!
早上8:30左右由於阿里雲rds出現突發故障(故障是rds負載均衡引起的),造成**不能正常訪問,訪問時出現了錯誤。
8:45左右rds恢復正常,但由於rds故障恢復時進行了ha切換(資料庫熱備切換),資料庫訪問切換到了另外一台熱備伺服器上,而這台sql server伺服器需要一段時間進行預熱(建立快取)。
在預熱期間由於sql快取命中率低,大量的磁碟io造成很多sql查詢執行時間很長,引起**訪問速度變得很慢。當時正在值訪問高峰期,sql server一邊要進行預熱,一邊要處理大量的查詢請求,這種雪上加霜的情形讓sql server遲遲不能進入正常工作狀態。後來通過增加rds記憶體提高sql server快取命中率之後才解決問題。
這種情況我們是第一次遇到,以前用自己的伺服器,即使伺服器重啟,起來之後sql server很快就能進入正常工作狀態。可能是因為現在的資料庫壓力比以前大了很多。
這次故障說明了即使資料庫伺服器有熱備,但切換到熱備伺服器也不能保證短時間內恢復正常。
這次故障說明了快取是多麼多麼的重要,因為在熱備伺服器預熱階段,唯一能減輕sql server負擔的就是快取,雖然我們最近對快取進行了很大的優化,但還遠遠不夠。
這次故障說明了阿里雲需要進一步提高rds的穩定性。雲計算,穩定大於一切!
出了這麼多問題,很多朋友在質疑我們為什麼還堅守在阿里雲上?
我們考慮過很多次,支撐我們堅守的理由有:
任何乙個偉大的東西不是因為天生偉大,從不出問題,而是因為它把所有遇到的問題都解決了,然後變得偉大。
堅守在阿里雲上,就是堅守在雲計算之路上,在烏雲中堅信藍天源於這樣乙個信念:我們堅信雲計算的時代已經到來了!
雲計算之路 阿里雲上 烏雲飄過
一周的萬里無雲是我們的第乙個目標,這周天氣情況好轉,但昨天 今天下午依然有烏雲飄過。昨天下午16 40 16 48左右,部落格站點的兩台web伺服器突然出現cpu坐過山車的波動情況。今天下午14 26 14 32左右再次出現cpu坐過山車的波動情況,之後又出現了幾次短時間的波動。這兩朵烏雲飄過時,都...
雲計算之路 阿里雲上 希望從今天開始烏雲變藍天
真沒想到雲計算之路上的天氣如此糟糕,比杭州的交通還要糟糕 今天上海晴空萬里,希望從今天開始 雲 上的天氣也一直晴空萬里。昨天發布了博文雲計算之路 柳暗花明 為什麼memcached會堵車之後,去參加了阿里雲客戶交流會,哪知14 00左右會議剛開始,又出現訪問速度慢的問題。立即採取前天的措施,關閉me...
雲計算之路 阿里雲上 愚人節被阿里雲OCS愚
今天是愚人節,而我們卻被阿里雲ocs愚,很多地方的快取一直不過期,造成很多頁面中的資料一直不更新。這篇博文將向您分享我們這兩天遇到的ocs問題。阿里雲ocs open cache service 是阿里雲提供的開放快取服務,簡單來說就是乙個巨大的memcached。我們是從2013年12月12日開始...