mysql調優對於很多程式設計師而言,都是乙個非常棘手的問題,多數情況都是因為對資料庫出現問題的情況和處理思路不清晰。在進行mysql的優化之前必須要了解的就是mysql的查詢過程,很多的查詢優化工作實際上就是遵循一些原則讓mysql的優化器能夠按照預想的合理方式執行而已。
今天給大家講解mysql的優化實戰,助你高薪之路順暢!
圖 - mysql查詢過程
注意:優化有風險,涉足需謹慎!
1、優化不總是對乙個單純的環境進行,還很可能是乙個複雜的已投產的系統。
2、優化手段本來就有很大的風險,只不過你沒能力意識到和預見到!
3、任何的技術可以解決乙個問題,但必然存在帶來乙個問題的風險!
4、對於優化來說解決問題而帶來的問題,控制在可接受的範圍內才是有成果。
5、保持現狀或出現更差的情況都是失敗!
1、穩定性和業務可持續性,通常比效能更重要!
2、優化不可避免涉及到變更,變更就有風險!
3、優化使效能變好,維持和變差是等概率事件!
4、切記優化,應該是各部門協同,共同參與的工作,任何單一部門都不能對資料庫進行優化!
5、所以優化工作,是由業務需要驅使的!!!
在資料庫優化上有兩個主要方面:即安全與效能。
1、安全 ---> 資料可持續性 2、效能 ---> 資料的高效能訪問
儲存、主機和作業系統方面:
1、主機架構穩定性2、i/o規劃及配置 3、swap交換分割槽 4、os核心引數和網路問題
應用程式方面:
1、應用程式穩定性 2、sql語句效能 3、序列訪問資源 4、效能欠佳會話管理 5、這個應用適不適合用mysql
資料庫優化方面:
1、記憶體 2、資料庫結構(物理&邏輯) 3、例項配置
說明:不管是在,設計系統,定位問題還是優化,都可以按照這個順序執行。
資料庫優化維度有四個:
硬體、系統配置、資料庫表結構、sql及索引。
優化選擇:
1、優化成本:硬體》系統配置》資料庫表結構》sql及索引
2、優化效果:硬體《系統配置《資料庫表結構檢查問題常用工具:
不常用但好用的工具:一般應急調優的思路:
針對突然的業務辦理卡頓,無法進行正常的業務處理!需要立馬解決的場景!
常規調優思路:
針對業務週期性的卡頓,例如在每天10-11點業務特別慢,但是還能夠使用,過了這段時間就好了。
1、檢視slowlog,分析slowlog,分析出查詢慢的語句。
2、按照一定優先順序,進行乙個乙個的排查所有慢語句。
3、分析top sql,進行explain除錯,檢視語句執行時間。
cpu方面:
vmstat、sar top、htop、nmon、mpstat
記憶體:free 、ps -aux 、
io裝置(磁碟、網路):
iostat 、 ss 、 netstat 、 iptraf、iftop、lsof、
vmstat 命令說明:
procs: r顯示有多少程序正在等待cpu時間。b顯示處於不可中斷的休眠的程序數量。在等待i/o memory: swpd顯示被交換到磁碟的資料塊的數量。未被使用的資料塊,使用者緩衝資料塊,用於作業系統的資料塊的數量 swap: 作業系統每秒從磁碟上交換到記憶體和從記憶體交換到磁碟的資料塊的數量。s1和s0最好是0 io: 每秒從裝置中讀入b1的寫入到裝置b0的資料塊的數量。反映了磁碟i/o system: 顯示了每秒發生中斷的數量(in)和上下文交換(cs)的數量 cpu: 顯示用於執行使用者**,系統**,空閒,等待i/o的cpu時間
iostat命令說明
例項命令:iostat -dk 1 5
iostat -d -k -x 5 (檢視裝置使用率(%util)和響應時間(await))
1、tps:該裝置每秒的傳輸次數。「一次傳輸」意思是「一次i/o請求」。多個邏輯請求可能會被合併為「一次i/o請求」。
2、iops :硬體出廠的時候,廠家定義的乙個每秒最大的io次數,"一次傳輸"請求的大小是未知的。
3、kbread/s:每秒從裝置(drive expressed)讀取的資料量;
4、kbwrtn/s:每秒向裝置(drive expressed)寫入的資料量;
5、kbread:讀取的總資料量;7、kbwrtn:寫入的總數量資料量;這些單位都為kilobytes。
你認為到底負載高好,還是低好呢?
在實際的生產中,一般認為 cpu只要不超過90%都沒什麼問題 。
當然不排除下面這些特殊情況:
問題一:cpu負載高,io負載低
1、記憶體不夠 2、磁碟效能差 3、sql問題 ------>去資料庫層,進一步排查sql問題 4、io出問題了(磁碟到臨界了、raid設計不好、raid降級、鎖、在單位時間內tps過高) 5、tps過高: 大量的小資料io、大量的全表掃瞄
問題二:io負載高,cpu負載低
1、大量小的io 寫操作:2、autocommit ,產生大量小io 3、io/ps,磁碟的乙個定值,硬體出廠的時候,廠家定義的乙個每秒最大的io次數。4、大量大的io 寫操作 5、sql問題的機率比較大
問題三:io和cpu負載都很高
硬體不夠了或sql存在問題
定位問題點:
硬體 --> 系統 --> 應用 --> 資料庫 --> 架構(高可用、讀寫分離、分庫分表)
處理方向:
明確優化目標、效能和安全的折中、防患未然
主機方面:
1、根據資料庫型別,主機cpu選擇、記憶體容量選擇、磁碟選擇 2、平衡記憶體和磁碟資源 3、隨機的i/o和順序的i/o 4、主機 raid卡的bbu(battery backup unit)關閉
cpu的選擇:
1、cpu的兩個關鍵因素:核數、主頻 2、根據不同的業務型別進行選擇:3、cpu密集型:計算比較多,oltp 主頻很高的cpu、核數還要多 4、io密集型:查詢比較,olap 核數要多,主頻不一定高的
記憶體的選擇:
1、olap型別資料庫,需要更多記憶體,和資料獲取量級有關。2、oltp型別資料一般記憶體是cpu核心數量的2倍到4倍,沒有最佳實踐。
儲存方面:
1、根據儲存資料種類的不同,選擇不同的儲存裝置 2、配置合理的raid級別(raid5、raid10、熱備盤) 3、對與作業系統來講,不需要太特殊的選擇,最好做好冗餘(raid1)(ssd、sas 、sata)
raid卡:主機raid卡選擇:
1、實現作業系統磁碟的冗餘(raid1) 2、平衡記憶體和磁碟資源 3、隨機的i/o和順序的i/o 4、主機 raid卡的bbu(battery backup unit)要關閉。
網路裝置方面:
使用流量支援更高的網路裝置(交換機、路由器、網線、網絡卡、hba卡)
注意:以上這些規劃應該在初始設計系統時就應該考慮好。
1、物理狀態燈:
2、自帶管理裝置:遠端控制卡(fence裝置:ipmi ilo idarc),開關機、硬體監控。
3、第三方的監控軟體、裝置(snmp、agent)對物理設施進行監控
4、儲存裝置:自帶的監控平台。emc2(hp收購了), 日立(hds),ibm低端oem hds,高階儲存是自己技術,華為儲存
cpu:
基本不需要調整,在硬體選擇方面下功夫即可。
記憶體:基本不需要調整,在硬體選擇方面下功夫即可。
swap:
mysql盡量避免使用swap。阿里雲的伺服器中預設swap為0
io :
1、raid、no lvm、 ext4或xfs、ssd、io排程策略 1、swap調整(不使用swap分割槽)
io排程策略:linux系統核心引數優化:
使用者限制引數(mysql可以不設定以下配置):
* hard nofile65535
業務應用和資料庫應用獨立,防火牆:iptables、selinux等其他無用服務(關閉):
安裝圖形介面的伺服器不要啟**形介面 runlevel 3,另外,思考將來我們的業務是否真的需要mysql,還是使用其他種類的資料庫。用資料庫的最高境界就是不用資料庫。
sql優化方向:
執行計畫、索引、sql改寫
架構優化方向:
高可用架構、高效能架構、分庫分表
調整:例項整體(高階優化,擴充套件)
連線層(基礎優化)
設定合理的連線客戶和連線方式
sql層(基礎優化)
querycachesize:查詢快取-->>>olap型別資料庫,需要重點加大此記憶體快取.
1、但是一般不會超過gb.
2、對於經常被修改的資料,快取會立馬失效。
3、我們可以實用記憶體資料庫(redis、memecache),替代他的功能。
mysql 調優 Mysql調優
表設計 1 禁止使用外來鍵 2 多表中的相同列,必須保證列定義一致 3 國內表預設使用innodb,表字符集預設使用gbk,國際預設使用utf8的表 4 表必須包含gmt create和gmt modified欄位,即表必須包含記錄建立時間和修改時間的字段 5 單錶一到兩年內資料量超過500w或資料...
mysql資料庫調優
mysql資料庫調優知識分享 在進行資料庫調優時,應從以下三方面進行考慮 一 如何提高mysql快取命中率 一是在配置時,客戶端與伺服器端要使用相同的字符集而不是相容 二是在客戶端,要固化查詢的語句,從而可提高應用系統的查詢效率 三是提高記憶體中快取的配置,不過使用者的併發數越多,這個設定的效果會越...
mysql 資料庫調優
1.在sql語句查詢時,盡量不使用select 進去全表查詢,首先要考慮在where及order by 語句上的列上增加索引,一定經常需要進行檢索的字段上建立索引,但是需要注意的是乙個表的索引數最好不要超過6個,要考慮在一些不常用的字段上加索引是否有必要,索引太多反而會失去加索引的效果 同時也會降低...