乙個文件集
一組用於測試的資訊需求集合,資訊需求可以表示為查詢
一組相關性判定結果，對應每個查詢-文件，通常會賦予乙個二值判定結果: 相關/不相關
經驗發現一般測試的查詢數應》=50。
對於乙個查詢，根據其返回結果可以將整個文件集劃分為4部分：
相關不相關
返回真正例(tp)
偽正例(fp)
不返回偽反例(fn)
真反例(tn)
定義：準確率:p=tp/(tp+fp)
召回率:r=tp/(tp+fn)
準確率用來度量返回結果中是否帶有不相關的結果。
召回率用來度量返回結果是否包含了所有相關文件。
召回率和準確率很多時候是相互制衡的，返回的文件越多，一般召回率越高，但準確率隨之下降。因此可以取召回率和準確率的調和平均值作為綜合評價：
其中：當beta取1時，召回率和準確率所佔權重一致，公式簡化為：
這裡之所以取調和平均數而不是算數平均數或幾何平均數是因為當兩個求平均的數之間差距比較大的時候，相對於算數平均數和幾何平均數，調和平均數更接近於較小的值，對於召回率和準確率來說這是合理的。
在結果有序的情況下，也可以沿用無序評價的正確率和召回率概念，方法是將搜尋結果看成是前k個(k=1,2,...)搜尋結果組成的若干子集,這樣對每個子集都能計算正確率和召回率，然後可以將若干子集的評價取平均值。
假設搜尋返回的結果文件集合為,則使用map方法計算有序結果評價為：
上面提到的map指標實際上是在所有召回率水平上計算準確率。對於web搜尋等應用來說，一般只關注第一頁或前3頁的結果，也就是說只關注前k個返回結果的準確率，p@k指只計算前k個返回結果的準確率。
p@k指標有乙個問題，比如將k指定為10，那麼對於部分查詢其相關文件數量可能<10，此時儘管查詢返回了所有相關文件，但如果用10作為計算基底，仍然導致查詢獲得較低的準確率。
解決方法是將固定值k換成相關文件數r，r根據查詢的不同而改變。這樣求得的準確率稱為r準確率。
根據召回率的定義可以得知，r準確率=查詢結果的召回率。
r準確率和p@k準確率相比map而言，實際上只是求了某乙個召回率對應的準確率，儘管如此，但是在經驗上卻證實了r準確率和map高度相關。
資訊檢索的評價標準
以下內容主要來自 wiki for evaluation of an information retrieval system precision frac cap 簡言之，精確度就是檢索系統返回的文件中，與被查詢文件是相關的比例，越高越好 recall frac cap 簡言之，召回率就是所有相關...
資訊檢索方法及思路
2020 04 02 第一次更新 蟲部落 快搜 注 其實以下的功能都可以在搜尋工具中手動選擇 1.限定在特定 限定site 例子 在搜尋引擎中輸入 spring學習路線 site zhihu.com 註解 指定 只在zhihu.com這個site下，搜尋 spring學習路線 2.限定檔案的型別 例...
資訊檢索之布林檢索
1 倒排索引的兩部分 圖 1 3 2 構建倒排索引的過程 收集需要建立索引的文件 將每篇文件轉換成乙個個詞條的列表，這個過程成為詞條化 第二章 進行語言學處理，產生歸一化的詞條來作為詞項 第三章 對所有文件按照其中出現的詞項來建立倒排索引，索引中包括一部詞典 存於記憶體 和乙個全體倒排索引表 存於磁...