自然語言處理(nlp),機器學習(ml),資訊檢索(ir)等領域,評估(evaluation)是乙個必要的工作,而其評價指標往往有如下幾點:準確率(accuracy),精確率(precision),召回率(recall)和f1-measure。
現在我先假定乙個具體場景作為例子。
假如某個班級有男生80人,女生20人,共計100人.目標是找出所有女生.
現在某人挑選出50個人,其中20人是女生,另外還錯誤的把30個男生也當作女生挑選出來了.
作為評估者的你需要來評估(evaluation)下他的工作
首先我們可以計算準確率(accuracy),其定義是: 對於給定的測試資料集，分類器正確分類的樣本數與總樣本數之比。也就是損失函式是0-1損失時測試資料集上的準確率[1].
這樣說聽起來有點抽象，簡單說就是，前面的場景中，實際情況是那個班級有男的和女的兩類，某人(也就是定義中所說的分類器)他又把班級中的人分為男女兩類。accuracy需要得到的是此君分正確的人佔總人數的比例。很容易，我們可以得到:他把其中70(20女+50男)人判定正確了,而總人數是100人，所以它的accuracy就是70 %(70 / 100).
由準確率，我們的確可以在一些場合，從某種意義上得到乙個分類器是否有效，但它並不總是能有效的評價乙個分類器的工作。舉個例子,google抓取了argcv 100個頁面，而它索引中共有10,000,000個頁面,隨機抽乙個頁面，分類下,這是不是argcv的頁面呢?如果以accuracy來判斷我的工作，那我會把所有的頁面都判斷為」不是argcv的頁面」,因為我這樣效率非常高(return false,一句話),而accuracy已經到了99.999%(9,999,900/10,000,000),完爆其它很多分類器辛辛苦苦算的值,而我這個演算法顯然不是需求期待的,那怎麼解決呢?這就是precision,recall和f1-measure出場的時間了.
在說precision,recall和f1-measure之前,我們需要先需要定義tp,fn,fp,tn四種分類情況.
按照前面例子,我們需要從乙個班級中的人中尋找所有女生,如果把這個任務當成乙個分類器的話,那麼女生就是我們需要的,而男生不是,所以我們稱女生為」正類」,而男生為」負類」.
通過這張表,我們可以很容易得到這幾個值:
tp=20
fp=30
fn=0
tn=50
精確率(precision)的公式是p=
tptp
+fp
,它計算的是所有」正確被檢索的item(tp)」佔所有」實際被檢索到的(tp+fp)」的比例.
在例子中就是希望知道此君得到的所有人中,正確的人(也就是女生)占有的比例.所以其precision也就是40%(20女生/(20女生+30誤判為女生的男生)).
召回率(recall)的公式是r=
tptp
+fn
,它計算的是所有」正確被檢索的item(tp)」佔所有」應該檢索到的item(tp+fn)」的比例。
在例子中就是希望知道此君得到的女生佔本班中所有女生的比例,所以其recall也就是100%(20女生/(20女生+ 0 誤判為男生的女生))
f1值就是精確值和召回率的調和均值,也就是 2f
1=1p
+1r
調整下也就是 f1
=2pr
p+r=
2tp2
tp+f
p+fn
例子中 f1-measure 也就是約為 57.143%(2
∗0.4∗1
0.4+1)
準確率 精確率 召回率
準確率 accuracy 精確率 precision 和召回率 recall 2 是資訊檢索，人工智慧，和搜尋引擎的設計中很重要的幾個概念和指標。中文中這幾個評價指標翻譯各有不同，所以一般情況下推薦使用英文。先假定乙個具體場景作為例子。假如某個班級有男生80人,女生20人,共計100人.目標是找出所...
精確率 召回率 準確率
精確率是針對我們 結果而言的，它表示的是 為正的樣本中有多少是真正的正樣本。那麼 為正就有兩種可能了，一種就是把正類 為正類 tp 另一種就是把負類 為正類 fp 也就是 召回率是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被 正確了。那也有兩種可能，一種是把原來的正類 成正類 tp 另一...
準確率 精確率 召回率筆記
正項資料 負項資料 為正項 positives true positive tp 正項資料被 為正項的數量 false positive fp 負項資料被 成正項的數量 為負項 negatives false negative fn 正項資料被 為負項的數量 true negative tn 負項資...