1、兩個最常見的衡量指標是「準確率(precision)」(你給出的結果有多少是正確的)和「召回率(recall)」(正確的結果有多少被你給出了)
這兩個通常是此消彼長的(trade off),很難兼得。很多時候用引數來控制,通過修改引數則能得出乙個準確率和召回率的曲線(roc),這條曲線與x和y軸圍成的面積就是auc(roc area)。auc可以綜合衡量乙個**模型的好壞,這乙個指標綜合了precision和recall兩個指標。
但auc計算很麻煩,有人用簡單的f-score來代替。f-score計算方法很簡單:
f-score = (2*precision*recall) / (precision+recall)
即使不是算數平均,也不是幾何平均。可以理解為幾何平均的平方除以算術平均。
不妨舉這樣乙個例子:某池塘有1400條鯉魚,300只蝦,300只鱉。現在以捕鯉魚為目的。撒一大網,逮著了700條鯉魚,200只蝦,100只鱉。那麼,這些指標分別如下:
正確率 = 700 / (700 + 200 + 100) = 70%
召回率 = 700 / 1400 = 50%
f值 = 70% * 50% * 2 / (70% + 50%) = 58.3%
不妨看看如果把池子裡的所有的鯉魚、蝦和鱉都一網打盡,這些指標又有何變化:
正確率 = 1400 / (1400 + 300 + 300) = 70%
召回率 = 1400 / 1400 = 100%
f值 = 70% * 100% * 2 / (70% + 100%) = 82.35%
由此可見,正確率是評估捕獲的成果中目標成果所佔得比例;召回率,顧名思義,就是從關注領域中,召回目標類別的比例;而f值,則是綜合這二者指標的評估指標,用於綜合反映整體的指標。
當然希望檢索結果precision越高越好,同時recall也越高越好,但事實上這兩者在某些情況下有矛盾的。比如極端情況下,我們只搜尋出了乙個結果,且是準確的,那麼precision就是100%,但是recall就很低;而如果我們把所有結果都返回,那麼比如recall是100%,但是precision就會很低。因此在不同的場合中需要自己判斷希望precision比較高或是recall比較高。如果是做實驗研究,可以繪製precision-recall曲線來幫助分析。
2、綜合評價指標(f-measure)
p和r指標有時候會出現的矛盾的情況,這樣就需要綜合考慮他們,最常見的方法就是f-measure(又稱為f-score)。
f-measure是precision和recall加權調和平均:
當引數α=1時,就是最常見的f1,也即
可知f1綜合了p和r的結果,當f1較高時則能說明試驗方法比較有效。
3、e值
e值表示查準率p和查全率r的加權平均值,當其中乙個為0時,e值為1,其計算公式:
召回率與準確率
召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall,又稱 查全率 還是查全率好記,也更能體現其實質意義。準確率 precision,又稱 精度 正確率 以檢索為例,可以把搜尋情況用下圖表示 相關 不相關 檢索到 a b 未檢索到 c d a 檢索到的,相...
召回率與準確率
召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall,又稱 查全率 還是查全率好記,也更能體現其實質意義。準確率 precision,又稱 精度 正確率 以檢索為例,可以把搜尋情況用下圖表示 相關 不相關 檢索到 a b 未檢索到 c d a 檢索到的,相...
召回率與準確率
召回率與準確率 fleetyang 召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall,又稱 查全率 還是查全率好記,也更能體現其實質意義。準確率 precision,又稱 精度 正確率 以檢索為例,可以把搜尋情況用下圖表示 相關不相關 檢索到 a b ...