[size=medium][b]背景[/b]
公司專案組當初對專案開發效能評估不足,統計分析系統服務端與資料庫同處一台伺服器裝置上,資料庫中的很多關鍵資料表資料都由外界多台應用伺服器長時間不間斷地實時入庫產生,平均每分鐘有幾萬筆資料入庫,這些資料表企業要求必須最少儲存90天資料,日積月累,資料表資料數以千萬計,同時入庫的這些資料表還是後台定時統計小時及天資料的作業的源表和使用者查詢實時資料的目標表,極大影響入庫、後台統計和查詢分析的執行效率,並且很容易產生資源的競爭。執行一年後統計分析系統效能瓶頸日益顯現出來,客戶十分不滿意。
[b]解決方案[/b]
由於資料庫與統計分析系統同處一台伺服器裝置上,資料庫負擔之重直接影響統計分析系統程式處理效能。在無法擴容硬體資源的情況下盡最大努力優化伺服器架構,減少系統資源消耗,提高統計分析系統程式處理效能。
最大限度地使入庫和統計查詢分析的資料表不是同乙個,並減少單個資料表的容量,採取自動分流儲存,優化資料庫定時作業:
1,實時入庫的資料以天為單位儲存,資料表命名為「原表名+日期」,實時資料入庫時自動選擇當天資料表,我們就統稱源表;
2,小時資料以月為單位儲存,資料表命名為「原小時表名+月份」,後台定時統計作業自動選擇當月資料表;
3,資料庫備份和歷史資料清理作業計畫每週六執行一次;
4,後台定時統計作業計畫每天凌晨1點執行一次;
5,要求使用者使用統計分析系統選擇時間範圍時不對分鐘資料進行跨天查詢,不對小時資料進行跨月查詢(系統介面有精確到分鐘、小時和天資料的查詢條件);
6,要求報表系統只產生昨天或過去資料,不對今天的資料做報表分析;
[/size]
擴充套件資源伺服器解決oauth2 效能瓶頸
本文是針對傳統使用uuid token 的情況進行擴充套件,提高系統的吞吐率,解決效能瓶頸的問題 override public oauth2authentication loadauthentication string accesstoken throws authenticationexcep...
回顧伺服器2100 2400人瓶頸
經過前期的視野部分的廣播優化工作,單閘道器單邏輯服的伺服器能夠承受2100 2500人的同屏移動 釋放技能,但是在2100人之後,客戶端的ping值就會時而達到100ms以上,主觀上感到卡頓.並且到2500人時達到明顯的卡頓,遊戲無法繼續進行.這裡顯示伺服器資源在某個地方遭受到了瓶頸.第乙個線索是p...
高併發伺服器邏輯處理瓶頸,如何解決?
高併發伺服器邏輯處理瓶頸,如何解決?首先我們先了解什麼是併發!併發,在作業系統中,是指乙個時間段中有幾個程式都處於已啟動執行到執行完畢之間,且這幾個程式都是在同乙個處理機上執行,但任乙個時刻點上只有乙個程式在處理機上執行。百科 顧名思義,高併發就是在指定時間內,系統同時能夠處理大量的請求 連線數 那...