資料庫優化方案總結

2021-08-16 20:47:19 字數 598 閱讀 3132

總結學習:

在資料倉儲專案中,由於資料規模龐大,提高資料的查詢效率是永恆的主題,常見的優化手段有:

1、 硬體優化,提高機器效能,增加硬體等;

2、 優化查詢語句,將限定性強的where條件放前,用exists代替in操作等;

3、 優化索引,建立有效的索引並檢查和修復缺少的統計資訊等;

4、 資料庫系統檔案優化,將資料檔案、索引檔案、日誌檔案放置在不同的磁碟上,提高並行度等

除了以上方法外,還有一種很重要但易被大家忽略的方法:大表資料分割。當乙個表的資料規模達到數億條時,索引已基本發揮不了作用:建立索引要花費大量時間,查詢時由於要掃瞄大的索引表也要花費大量時間。為了發揮索引的作用,可以將大表按照某個欄位拆分為若干個小表。

例如,國內某大型保險公司,其有36家分公司,一年的保單明細表(f_policy)大概有2億條記錄,兩年的資料超過4億條,如果在f_policy上作一次查詢,響應非常慢,可以考慮將f_policy按照機構拆分為36個同構的小表,在作整個保單明細表的查詢時,可以使用union all操作合併資料,或者建立乙個union all的檢視,查詢效率大大提高。並且,作這樣的拆分非常有用,因為經常會有只查詢某個分公司資料的需求。

資料庫優化方案

對查詢最有效果的優化,自然是建立索引了,id自然是自增 主鍵,這個前人已經做了 從where語句分析,時間字段作為查詢條件很多,時間是8位元組,而且不重複,設定索引比較適合。我把時間設定為索引,有一點效果,但不大,估算一下 8 4000 0000 320 000 000 位元組,4000萬記錄的表僅...

資料庫優化方案

1.sql 優化 2.索引 where 條件加索引 3.連線池 處理連線數問題,druid 4.快取 持久層快取 記憶體資料庫redis 5.分割槽 分成不同的檔案,不解決根本問題 6.儲存過程 業務 難維護 7.讀寫分離 主從複製 8.集群 與主從的區別 集群是通過負載均衡的方式,目的是容錯性和高...

資料庫優化方案

一 需要注意的點 1 對查詢進行優化,要盡量避免全表掃瞄 2 應盡量避免在 where 子句中對字段進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃瞄 3 不使用not in和 操作not in和 操作都不會使用索引將進行全表掃瞄。not in可以not exists代替,id 3則可...