MongoDB的索引原理及優化彙總

2021-10-23 04:12:22 字數 4812 閱讀 3496

3.索引優化

4. 索引管理

假設mongodb person集合裡包含插入了4個文件,其儲存後位置資訊如下(為方便描述,文件省去_id欄位)

位置資訊

文件pos1

pos2

pos3

pos4

pos5

假設現在有個查詢 db.person.find( ), 查詢所有年齡為18歲的人,這時需要遍歷所有的文件(『全表掃瞄』),根據位置資訊讀出文件,對比age欄位是否為18。當然如果只有4個文件,全表掃瞄的開銷並不大,但如果集合文件數量到百萬、甚至千萬上億的時候,對集合進行全表掃瞄開銷是非常大的,乙個查詢耗費數十秒甚至幾分鐘都有可能。

如果想加速 db.person.find( ),就可以考慮對person表的age欄位建立索引。

db.person.createindex(  )  //
按age欄位建立公升序索引

建立索引後,mongodb會額外儲存乙份按age欄位公升序排序的索引資料,索引結構類似如下,索引通常採用類似btree的結構持久化儲存,以保證從索引裡快速(o(logn)的時間複雜度)找出某個age值對應的位置資訊,然後根據位置資訊就能讀取出對應的文件。

age位置資訊

18pos3

18pos5

19pos1

20pos2

21pos4

簡單的說,索引就是將文件按照某個(或某些)字段順序組織起來,以便能根據該欄位高效的查詢。有了索引,至少能優化如下場景的效率:

// 查詢集合的索引資訊

mongo-9552:primary> db.person.getindexes() // 查詢集合的索引資訊

[ ,

"name" : "_id_" // 索引的名稱

}]

mongodb支援多種型別的索引,包括單字段索引、復合索引、多key索引、文字索引等,每種型別的索引有不同的使用場合。

2.1 _id索引

_id索引是系統預設建立的索引,預設是按1(公升序)。

眾所周知,mongodb缺省會為插入的文件生成_id欄位(如果應用本身沒有指定該欄位),_id是文件唯一的標識,為了保證能根據文件id快遞查詢文件,mongodb缺省會為集合建立_id欄位的索引。

2.2 單字段索引 (single field index)

db.person.createindex(  )
上述語句針對age建立了單字段索引,其能加速對age欄位的各種查詢請求,是最常見的索引形式,mongodb預設建立的id索引也是這種型別。

代表公升序索引,也可以通過來指定降序索引,對於單字段索引,公升序/降序效果是一樣的。

2.2 多鍵索引(multikey index)

當索引的字段為陣列時,建立出的索引稱為多key索引,多key索引會為陣列的每個元素建立一條索引,比如person表加入乙個habbit欄位(陣列)用於描述興趣愛好,需要查詢有相同興趣愛好的人就可以利用habbit欄位的多key索引。

db.person.createindex( ) // 自動建立多key索引

db.person.find( )

2.3 復合索引 (compound index)

復合索引是single field index的公升級版本,它針對多個字段聯合建立索引,先按第乙個字段排序,第乙個字段相同的文件按第二個字段排序,依次類推,如下針對age, name這2個字段建立乙個復合索引。

db.person.createindex(  )
復合索引能滿足的查詢場景比單字段索引更豐富,不光能滿足多個字段組合起來的查詢,比如

db.person.find( )

也能滿足所有能匹配符合索引字首的查詢,這裡即為的字首,所以類似db.person.find( )的查詢也能通過該索引來加速;但db.person.find( )則無法使用該復合索引。如果經常需要根據『name欄位』以及『name和age欄位組合』來查詢,則應該建立如下的復合索引

db.person.createindex(  )
除了查詢的需求能夠影響索引的順序,欄位的值分布也是乙個重要的考量因素,即使person集合所有的查詢都是『name和age欄位組合』(指定特定的name和age),欄位的順序也是有影響的。

age欄位的取值很有限,即擁有相同age欄位的文件會有很多;而name欄位的取值則豐富很多,擁有相同name欄位的文件很少;顯然先按name欄位查詢,再在相同name的文件裡查詢age欄位更為高效。

2.4 文字索引(text index)

《文字索引》

能解決快速文字查詢的需求,比如有乙個部落格文章集合,需要根據部落格的內容來快速查詢,則可以針對部落格內容建立文字索引。

2.5 雜湊索引(hashed index)

指按照某個欄位的hash值來建立索引,目前主要用於mongodb sharded cluster的hash分片,hash索引只能滿足字段完全匹配的查詢,不能滿足範圍查詢等。

2.6 地理位置索引(geospatial index)

能很好的解決o2o的應用場景,比如『查詢附近的美食』、『查詢某個區域內的車站』等。

2.7 其它索引

mongodb除了支援多種不同型別的索引,還能對索引定製一些特殊的屬性。

3.1 db profiler

mongodb支援對db的請求進行profiler,目前支援3種級別的profiler。

如果能在集合建立的時候就能『根據業務查詢需求決定應該建立哪些索引』,當然是最佳的選擇;但由於業務需求多變,要根據實際情況不斷的進行優化。索引並不是越多越好,集合的索引太多,會影響寫入、更新的效能,每次寫入都需要更新所有索引的資料;所以你system.profile裡的慢請求可能是索引建立的不夠導致,也可能是索引過多導致。

3.2 查詢計畫

索引已經建立了,但查詢還是很慢怎麼破?這時就得深入的分析下索引的使用情況了,可通過檢視下詳細的查詢計畫來決定如何優化。通過執行計畫可以看出如下問題

常見stage的型別:

mongo-9552:primary> db.person.find().explain()

},"winningplan" :

},"direction" : "forward"

},"rejectedplans" : [ ]

},"serverinfo" : ,

"ok" : 1

}

建立索引後,通過查詢計畫可以看出,先進行ixscan(從索引中查詢),然後fetch,讀取出滿足條件的文件。

mongo-9552:primary> db.person.find().explain()

},"winningplan" : ,

"indexname" : "age_1",

"ismultikey" : false,

"isunique" : false,

"issparse" : false,

"ispartial" : false,

"indexversion" : 1,

"direction" : "forward",

"indexbounds" : }},

"rejectedplans" : [ ]

},"serverinfo" : ,

"ok" : 1

}

4.1 建立索引
db.users.createindex()

給name,age欄位建立組合索引

db.users.createindex()

在後台給age欄位建立索引

db.users.createindex(,)

在後台建立索引的原因:

在前台建立索引期間會鎖定資料庫,會導致其它操作無法進行資料讀寫,在後台建立索引是,會定期釋放寫鎖,從而保證其它操作的執行,但是後台操作會在耗時更長,尤其是在頻繁進行寫入的伺服器上。

4.2 查詢集合索引

mongodb提供的檢視索引資訊的方法:

例如 檢視索引集合大小

db.getcollection('chongqing').totalindexsize()
4.3 刪除集合索引
db.getcollection('chongqing').dropindexes()
不再需要的索引,我們可以將其刪除,mongodb提供兩種刪除索引的方法:

db.users.dropindex("name_1")

db.users.dropindex("name_1_age_1")

db.users.getindexspecs()

我們可以看到,name欄位的索引和name與age欄位的組合索引皆被刪除

例2:dropindexes()的用法

db.users.dropindexes()

db.users.getindexspecs()

在使用了dropindexes()方法後,我們之前建的所有索引都被刪除掉了

4.4 索引重建

我們之前把users的索引全部刪除了,現在在name欄位上建立乙個正序索引,然後在name欄位上重建倒序索引,可以看到重建索引是把之前name欄位的索引刪掉再新建乙個索引的,重建之前name欄位還是只有乙個索引.

db.users.createindex()

db.users.reindex()

索引優化及原理

oracle 之sql優化 索引的基本原理 一 1 索引的基本概念 1 建立索引的目的 以索引小的io換取表的大io。何時建立索引 當訪問的資料塊少於表中20 的資料時,建議使用索引。2 索引的 會使insert delete速度變慢 索引個數多的話速度就會慢 對於update語句,需要先判斷是否要...

Mongodb 索引優化

mongodb 索引資料型別優化,節省60 記憶體 mongostat 檢視mongodb 查詢情況 是否有全表查詢 如果有全表查詢,表示索引已經超出記憶體限制了 沒有keep all index in ram 可以通過始減小索引大小來解決一些問題。通過測試得出了如下的資料,不同的資料型別的索引大小...

MySQL優化(三) 索引原理及索引優化

b tree索引,它是目前關係型資料庫中查詢資料最為常用和有效的索引,大多數儲存引擎都支援這種索引。使用b tree這個術語,是因為mysql在create table或其它語句中使用了這個關鍵字,但實際上不同的儲存引擎可能使用不同的資料結構,比如innodb就是使用的b tree。中的b是指bal...