mysql千萬級資料量根據索引優化查詢速度

2021-09-08 20:17:12 字數 4345 閱讀 5210

(一)索引的作用

索引通俗來講就相當於書的目錄,當我們根據條件查詢的時候,沒有索引,便需要全表掃瞄,資料量少還可以,一旦資料量超過百萬甚至千萬,一條查詢sql執行往往需要幾十秒甚至更多,5秒以上就已經讓人難以忍受了。

提公升查詢速度的方向一是提公升硬體(記憶體、cpu、硬碟),二是在軟體上優化(加索引、優化sql;優化sql不在本文闡述範圍之內)。

能在軟體上解決的,就不在硬體上解決,畢竟硬體提公升**昂貴,價效比太低。代價小且行之有效的解決方法就是合理的加索引。

索引使用得當,能使查詢速度提公升上萬倍,效果驚人。

(二)mysql的索引型別:

mysql的索引有5種:主鍵索引、普通索引、唯一索引、全文索引、聚合索引(多列索引)。

唯一索引和全文索引用的很少,我們主要關注主鍵索引、普通索引和聚合索引。

1)主鍵索引:主鍵索引是加在主鍵上的索引,設定主鍵(primary key)的時候,mysql會自動建立主鍵索引;

2)普通索引:建立在非主鍵列上的索引;

3)聚合索引:建立在多列上的索引。

(三)索引的語法:

檢視某張表的索引:show index from 表名;

建立普通索引:alter table 表名 add index  索引名 (加索引的列) 

建立聚合索引:alter table 表名 add index  索引名 (加索引的列1,加索引的列2

) 刪除某張表的索引:drop index 索引名 on 表名;

(四)效能測試

測試環境:博主工作用台式電腦

處理器為intel core i5-4460 3.2ghz;

記憶體8g;

64位windows。

1:建立一張測試表

[sql]view plain

copy

print

?

drop

table if exists `test_user`;  

create

table `test_user` (  

`id` bigint(20)  primary

keynot

null auto_increment,  

`username` varchar(11) default

null,  

`gender` varchar(2) default

null,  

`password` varchar(100) default

null

) engine=myisam default charset=utf8;  

drop table if exists `test_user`;

create table `test_user` (

`id` bigint(20) primary key not null auto_increment,

`username` varchar(11) default null,

`gender` varchar(2) default null,

`password` varchar(100) default null

) engine=myisam default charset=utf8;

儲存引擎使用myisam是因為此引擎沒有事務,插入速度極快,方便我們快速插入千萬條測試資料,等我們插完資料,再把儲存型別修改為innodb。

2:使用儲存過程插入1千萬條資料

[sql]view plain

copy

print

?

create

procedure myproc()   

begin

declare num int;   

set num=1;   

while num <= 10000000 do   

insert

into test_user(username,gender,password) values(num,'保密',password(num));   

set num=num+1;  

end while;  

end

create procedure myproc() 

begin

declare num int;

set num=1;

while num <= 10000000 do

insert into test_user(username,gender,password) values(num,'保密',password(num));

set num=num+1;

end while;

end

[sql]view plain

copy

print

?

call myproc();  

call myproc();
由於使用的myisam引擎,插入1千萬條資料,僅耗時246秒,若是innodb引擎,插入100萬條資料就要花費數小時了。

然後將儲存引擎修改回inndb。使用如下命令:  alter table test_user engine=innodb;此命令執行時間大約耗時5分鐘,耐心等待。

tips:這裡是測試,生產環境中不要隨意修改儲存引擎,還有alter table 操作,會鎖整張表,慎用。其次:myisam引擎沒有事務,且只是將資料寫到記憶體中,然後定期將資料刷出到磁碟上,因此突然斷電的情況下,會導致資料丟失。而inndb引擎,是將資料寫入日誌中,然後定期刷出到磁碟上,所以不怕突然斷電等情況。因此在實際生產中能用inndb則用。

3:sql測試

select id,username,gender,password from test_user where id=999999

耗時:0.114s。

因為我們建表的時候,將id設成了主鍵,所以執行此sql的時候,走了主鍵索引,查詢速度才會如此之快。

我們再執行select id,username,gender,password from test_user where username='9000000'

耗時:4.613s。

我們給username列加上普通索引。

alter table `test_user` add index index_name(username) ;

此過程大約耗時 54.028s,建索引的過程會全表掃瞄,逐條建索引,當然慢了。

再來執行:selectid,username,gender,password from test_user where username='9000000'

耗時:0.043s。

再用username和password來聯合查詢

select id,username,gender,password  from test_user where username='9000000' or `password`='*3a70e147e88d99888804e4d472410efd9cd890ae'

此時雖然我們隊username加了索引,但是password列未加索引,索引執行password篩選的時候,還是會全表掃瞄,因此此時

查詢速度立馬降了下來。

耗時:4.492s。

當我們的sql有多個列的篩選條件的時候,就需要對查詢的多個列都加索引組成聚合索引:

加上聚合索引:alter table `test_user` add index index_union_name_password(username,password)

再來執行:

耗時:0.001s。

開篇也說過軟體層面的優化一是合理加索引;二是優化執行慢的sql。此二者相輔相成,缺一不可,如果加了索引,還是查詢很慢,這時候就要考慮是sql的問題了,優化sql。

實際生產中的sql往往比較複雜,如果資料量過了百萬,加了索引後效果還是不理想,使用集群。

tips:

1:加了索引,依然全表掃瞄的可能情況有:

索引列為字串,而沒帶引號;

索引列沒出現在where條件後面;

索引列出現的位置沒在前面。

2:關聯查詢不走索引的可能情況有:

關聯的多張表的字符集不一樣;

關聯的字段的字符集不一樣;

儲存引擎不一樣;

欄位的長度不一樣。

mysql千萬級資料量根據索引優化查詢速度

一 索引的作用 索引通俗來講就相當於書的目錄,當我們根據條件查詢的時候,沒有索引,便需要全表掃瞄,資料量少還可以,一旦資料量超過百萬甚至千萬,一條查詢sql執行往往需要幾十秒甚至更多,5秒以上就已經讓人難以忍受了。提公升查詢速度的方向一是提公升硬體 記憶體 cpu 硬碟 二是在軟體上優化 加索引 優...

mysql千萬級資料量根據索引優化查詢速度

原文出處 一 索引的作用 索引通俗來講就相當於書的目錄,當我們根據條件查詢的時候,沒有索引,便需要全表掃瞄,資料量少還可以,一旦資料量超過百萬甚至千萬,一條查詢sql執行往往需要幾十秒甚至更多,5秒以上就已經讓人難以忍受了。提公升查詢速度的方向一是提公升硬體 記憶體 cpu 硬碟 二是在軟體上優化 ...

mysql千萬級資料量根據索引優化查詢速度

一 索引的作用 索引通俗來講就相當於書的目錄,當我們根據條件查詢的時候,沒有索引,便需要全表掃瞄,資料量少還可以,一旦資料量超過百萬甚至千萬,一條查詢sql執行往往需要幾十秒甚至更多,5秒以上就已經讓人難以忍受了。提公升查詢速度的方向一是提公升硬體 記憶體 cpu 硬碟 二是在軟體上優化 加索引 優...