文字分類的評價指標一般採用精度(precision)、召回率(recall)、f-score和準確率(accuracy)
**正例
**反例
實際正例
tpfn
實際反例
fptn
其中tp:true positive 表示實際為正例、**也為正例的樣本數量;fn:false negative 實際為正例、結果**為反例的樣本;fp:false positive:實際反例但是**是正例的樣本數量;tn:true negative 實際反例**也是反例的樣本數量。
$$precision=\frac
$$簡化為
$$precision=\frac
$$理解為:精度=實際正例並且**也為正例/實際正例**為正例+實際反例但是**為正例的和
$$recall = \frac
$$簡化:
$$recall = \frac
$$理解:
$$召回率=\frac
$$$$
accuracy = \frac
$$這個很好理解,就是實際上**和實際結果正確的樣本數量和全部的比重
實際應用時, 需要平衡精度和召回率, 通常使用兩者的調和平均數作為乙個綜合的評價指標, 稱之為f-score
$$f-score = \frac
$$1. 準確率
雖然準確率能夠判斷總的正確率,但是在樣本不均衡的情況下,並不能作為很好的指標來衡量結果。
比如在樣本集中,正樣本有90個,負樣本有10個,樣本是嚴重的不均衡。對於這種情況,我們只需要將全部樣本**為正樣本,就能得到90%的準確率,但是完全沒有意義。對於新資料,完全體現不出準確率。因此,在樣本不平衡的情況下,得到的高準確率沒有任何意義,此時準確率就會失效。所以,我們需要尋找新的指標來評價模型的優劣。
2 . 精確率
精確率(precision) 是針對**結果而言的,其含義是在被所有**為正的樣本中實際為正樣本的概率,精確率和準確率看上去有些類似,但是是兩個完全不同的概念。精確率代表對正樣本結果中的**準確程度,準確率則代表整體的**準確程度,包括正樣本和負樣本。
3. 召回率
召回率(recall) 是針對原樣本而言的,其含義是在實際為正的樣本中被**為正樣本的概率。
準確率和召回率互相影響,理想狀態下肯定追求兩個都高,但是實際情況是兩者相互「制約」:追求準確率高,則召回率就低;追求召回率高,則通常會影響準確率。我們當然希望**的結果precision越高越好, recall越高越好, 但事實上這兩者在某些情況下是矛盾的。這樣就需要綜合考慮它們,最常見的方法就是f-score。 也可以繪製出p-r曲線圖,觀察它們的分布情況。
4. f-score
一般來說準確率和召回率呈負相關,乙個高,乙個就低,如果兩個都低,一定是有問題的。 一般來說,精確度和召回率之間是矛盾的,這裡引入f1-score作為綜合指標,就是為了平衡準確率和召回率的影響,較為全面地評價乙個分類器。f1是精確率和召回率的調和平均。
文字分類的評價指標 基於word2vec的微博短文本分類研究 張謙 高章敏 劉嘉勇 四川大學電子資訊學院
部落格 準確率、精確率、召回率和f-score
準確率 精確率 召回率 F score比較
舉例來說,用血壓值來檢測乙個人是否有高血壓,測出的血壓值是連續的實數 從0 200都有可能 以收縮壓140 舒張壓90為閾值,閾值以上便診斷為有高血壓,閾值未滿者診斷為無高血壓。二元分類模型的個案 有四種結局 真陽性 true positive,tp 診斷為有,實際上也有高血壓 偽陽性 false ...
準確率召回率
知道意思,但是有時候要很清晰地向同學介紹則有點轉不過彎來。召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall,又稱 查全率 還是查全率好記,也更能體現其實質意義。準確率 precision,又稱 精度 正確率 以檢索為例,可以把搜尋情況用下圖表示 相關 ...
準確率 精確率 召回率
準確率 accuracy 精確率 precision 和召回率 recall 2 是資訊檢索,人工智慧,和搜尋引擎的設計中很重要的幾個概念和指標。中文中這幾個評價指標翻譯各有不同,所以一般情況下推薦使用英文。先假定乙個具體場景作為例子。假如某個班級有男生80人,女生20人,共計100人.目標是找出所...