考慮一下未來個人使用的裝置,它將是乙個機械化的個人圖書館,它需要乙個名字引起人們的注意:"memex"就可以.memex是這樣乙個機械化裝置,人們可以在其中儲存書籍、記錄和信件,同時可以以很高的速度和極強的靈活性完成檢索.作為輔助裝置,它是人腦的無限擴大.——bush，1945
說到提高檢索效率，就必然提到索引。今天就來為大家講述搜尋引擎中最常見的索引方式——倒排索引。
沒有索引的時代
走入乙個書店，這個書店的書只是亂糟糟的擺在一起，你現在想要找到一本叫做《spring in action》的書，你要怎麼辦？嗯……是的，你只能一本一本的翻，直到翻到這本書為止。結果你翻到最後一本才發現，這個書店並沒有你想要的書。你已經在這裡花費了一整天的時間（好在這個書店不大），你身心疲憊地罵了句「操蛋」，離開了這個書店。
這種在沒有任何索引的情況下檢索資訊（或者說查詢）的方式，我們可以稱之為grep。我們一般在類unix系統中使用的grep命令就是用類似的方法進行檢索的，win系統中常用的文字檢索（ctrl+f）也是如此。對於計算機來講，掃瞄整個檔案的速度會遠快於乙個人翻閱整個書店，因此在檢索少量資訊時（例如，單個文字檔案的資訊）是足夠的。但是當資訊量變得十分龐大時，就會變得十分緩慢。比如在類unix系統中的grep命令，去掃瞄大資料夾的時候，就可能慢得無法忍受。
傳統索引
你實在是需要《spring in action》這本書，你今天又來到了乙個看起來十分古老的圖書館。這個圖書館的藏書不少，但是並沒有什麼圖書管理資訊系統，但是他們有一套自己的索引系統——書名書目檢索櫃。大概就是這麼個東西：
你回憶起來你小時候似乎見過這個東西（大概，上個世紀末吧）這個櫃子上每乙個抽屜都對應著乙個分類，比如歷史、法律、計算機等等。你找到了計算機分類的抽屜，然後拉開了抽屜，你看到裡邊有非常非常多的卡片：
這些卡片被一些標著字母的大卡片分組隔開，分為了26組。你知道這意味著每一組都是標題以某一字母或某一拼音開頭的圖書的資訊。這些卡片叫做索引卡片。這些卡片都是按照字母或拼音順序進行排序的。有了這個排序，你很快就從s分組中找到了《spring in action》這本書。然後根據索引卡片上關於圖書存放位置的指示很快的找到了這本書。你心滿意足的回家去了~
這種索引技術其實和電腦上傳統的索引技術是相同的。這就相當於為圖書的分類資訊和書名資訊做了索引。而且還是聯合索引。我們同樣也發現聯合索引的乙個侷限性，就是聯合索引是有先後順序的。比如說你先對分類做索引，再對書名做索引。這時你在查詢的時候，如果你不先查詢分類，而是先查詢了書名，這個索引就不起作用了。對我們的另乙個啟示就是，索引之所以快的原因，是因為有序（從計算機的角度講，有序就可以使用二分查詢，這是十分高效的）。
詞彙文件矩陣
你看完《spring in action》之後還想深入學習一些關於依賴注入的內容，然而你不知道什麼書會講這部分內容。你想去圖書館再找找。然後你又一次來到了那個老舊的圖書館，你再一次開啟了計算機分類的抽屜，看著數以千計的卡片，陷入了深深的沉思……這根本找不到嘛……這和翻書店有什麼區別？更何況光看標題可能也看不出什麼。
我們發現此時此刻你的需求變了，你不是要找具體的某本書了，你要找的是具有某個主題的書。這個主題可能是一句話，可能是乙個詞。而我們發現一句話的最小組成粒度也是詞（或字）。所以我們發現我們最終要做的其實是對詞做索引。那麼我們要怎麼做呢？首先我們可以做乙個「詞彙-文件矩陣」，橫座標為文件id，縱座標為具體詞彙：
我們可以讓縱座標的詞彙有序排列（比如按照字母/拼音順序排列），這樣我們就可以快速的定位到乙個詞彙。然後我們再去找都有哪些文件對應著這些詞彙。但是「詞彙-文件矩陣」只是乙個概念模型，我們如何在計算機中使用資料結構實現這個概念呢？
最簡單的方法就是，直接這麼存。先儲存乙個有序的文件id陣列，然後在儲存乙個詞彙陣列。之後建立乙個二維陣列，陣列的橫座標長度和文件id陣列長度相同，縱座標長度和詞彙陣列相同，然後在這個二維陣列的元素中儲存1或0。1代表對應位置的文件包含對應位置的詞彙，0代表不包含。如圖所示：
這種實現方法十分簡單，但是卻具有乙個巨大的缺陷。如果我們的詞彙量有50萬個，文件量有100萬個（在當今這個數量並不大），那麼我們需要的儲存空間大小就至少要50萬*100萬=5000億個位元組，也就是至少465gb的資訊量，這個資訊量要遠遠大於一台計算機的記憶體量。這根本是無法忍受的。
倒排索引
那麼我們要如何優化這個結構呢？我們不難發現這個矩陣其實具有高度的稀疏性（大量的值為0）。畢竟不可能每本書都有50萬個不同的詞，如果考慮到大量的**或者部落格的話，可能平均一篇文獻中能有1000個不一樣的詞都很不容易了。這就意味著這個矩陣中99%的元素都為0。這樣我們很容易想到，那我們就只記錄那些1不就可以了。也就是說我們只要根據詞彙去記錄那些包含這個詞彙的文件就可以了。這樣同樣我們要維護乙個詞彙陣列，然後詞彙陣列中的每個元素（也就是每個詞彙）都會對應乙個文件列表，這個文件列表中儲存的是，具有這個詞彙的文件的id。這樣就極大的節省了儲存空間。結構如下：
以上就是倒排索引的一些基本概念。其實倒排索引是乙個很早就被人發明出的索引模型，在2023年ibm就在一次會議上展示了一台「自動索引機器」。雖然這種索引方式誕生的很早，但是至今依舊是全文索引的重要的基礎之一。
搜尋引擎 倒排索引
本節通過引入簡單例項，介紹與搜尋引擎索引有關的一些基礎概念，了解這些基礎概念對於後續深入了解索引的工作機制非常重要。3.1.1單詞 文件矩陣 單詞 文件矩陣是表達兩者之間所具有的一種包含關係的概念模型，圖3 1展示了其含義。圖3 1的每列代表乙個文件，每行代表乙個單詞，打對勾的位置代表包含關係。圖3...
搜尋引擎 倒排索引
倒排索引基本概念示意圖 假設文件集合包含五個文件，每個文件內容如圖3 3所示，在圖中最左端一欄是每個文件對應的文件編號。我們的任務就是對這個文件集合建立倒排索引。文件集合 需要對每個單詞賦予唯一的單詞編號，同時記錄哪些文當包含這些單詞，如下就是乙個簡單的索引，單詞id記錄了每個單詞的單詞編號，第二欄...
搜尋引擎 倒排索引
一 基本概念 倒排索引源於實際應用中需要根據屬性的值來查詢記錄。這種索引表中的每一項都包括乙個屬性值和具有該屬性值的各記錄的位址。由於不是由記錄來確定屬性值，而是由屬性值來確定記錄的位置，因而稱為倒排索引 inverted index 帶有倒排索引的檔案我們稱為倒排索引檔案，簡稱倒排檔案 inver...