效能度量
例項與總結
參考文獻
機器學習中,效能度量(performance measure)的方法繁多。本文借助混淆矩陣(confusion matrix)分析了若干度量的計算方法與物理含義,並以當前肺炎疫情為背景進行舉例,期望幫助讀者更好地分辨學習器的效能度量。
乙個常見的二分類問題的混淆矩陣如下:
實際陽性
實際陰性
檢測陽性
tp-ture positive
fp -false positive
檢測陰性
fn -false negative
tn -true negative
**中,縱向的資料表示真實值,而橫向資料表示**值。positive§和negative(n)只取決於**值,與真實值無關;**值與真實值相符被稱為true(t),不相符則為false(f)。
為了進一步理解這四個概念,下面假設了一次普通流感(陰性)與新冠肺炎(陽性)的檢測結果:
肺炎患者(實際陽性,8)
流感患者(實際陰性,10)
檢測為肺炎(9)
tp = 7
fp = 2
檢測為非肺炎(9)
fn = 1
tn = 8
tp,實際為陽性,同時被檢測為陽性。tp=7,有7個感染了新冠病毒的患者被檢測了出來。
fp,實際為陰性,但被檢測為陽性。fp=2,有2個流感患者被誤認為是肺炎病人。
fn,實際為陽性,但被檢測為陰性。fn=1,有1個肺炎病人被漏檢,方法誤認為他(她)是流感患者。
tn,實際為陰性,同時也被檢測為陰性。tn=8,有8個實際為普通流感的患者被篩選了出來。
對於混淆矩陣,有以下幾點需要注意:
下面基於混淆矩陣介紹5種效能度量。它們分別描述了分類器在特定任務上的表現,而這些任務與實際應用是密不可分的。
a cc
urac
y=tp
+tnt
p+fp
+fn+
tn
accuracy = \frac
accura
cy=t
p+fp
+fn+
tntp
+tn
s en
siti
vity
=tpt
p+fn
sensitivity = \frac
sensit
ivit
y=tp
+fnt
ps pe
cifi
city
=tnt
n+fp
specificity = \frac
specif
icit
y=tn
+fpt
np pv
=tpt
p+fp
ppv = \frac
ppv=tp
+fpt
pn pv
=tnt
n+fn
npv = \frac
npv=tn
+fnt
n這部分,針對假設的資料進行分類器效能計算,並進一步總結各個效能指標。
肺炎患者(實際陽性,8)
流感患者(實際陰性,10)
檢測為肺炎(9)
tp = 7
fp = 2
檢測為非肺炎(9)
fn = 1
tn = 8
效能度量
計算直觀描述
過分強調的後果
準確度7+8
7+2+
1+8=
83.3
%\frac=83.3\%
7+2+1+
87+8
=83
.3%廣而範的準確性度量
忽略了樣本總量間的比例關係,失去參考價值
敏感度77+
1=
87.5
%\frac=87.5\%
7+17=
87.5
%對陽性樣品的敏感程度
分類器過於敏感(激進),增加實際為陰性的誤判率
特異度88+
2=
80.0
%\frac=80.0\%
8+28=
80.0
%對陰性樣本的敏感程度
分類器過於保守,大量的陽性可能因此漏檢
精確度77+
2=
77.7
%\frac=77.7\%
7+27=
77.7
%陽性標籤的置信度,與敏感度相對
分類器過於謹慎,陽性可能因此漏檢
負**性
8 8+
1=
88.9
\frac=88.9%
8+18=
88.9
陰性標籤的置信度,與特異性相對
分類器過於謹慎,陰性可能因此漏檢
[1]
怎麼培養職場敏感度
簡單來說,職場敏感度就是一種簡單的職場意識,對自己所處的工作崗位,所處的工作狀況擁有一定的認知。工作中同事對自己的態度,上司對自己的看法都是極其重要的,這影響著我們日後的加薪公升職。所以擁有一定的職場敏感度意識可以讓我們更好的提公升自己,改變自己。那麼職場敏感度應該怎麼培養呢?工作性質 我們在工作的...
R語言 敏感度 特異度 準確率檢驗及置信區間求解
包 epir目的 統計學檢驗 tp1 模型一的真正例數量 tn1 模型一的真反例數量 fp1 模型一的假正例數量 fn1 模型一的假反例數量 tp2 模型二的真正例數量 tn2 模型二的真反例數量 fp2 模型二的假正例數量 fn2 模型二的假反例數量 x c tn1,tn2 n c tn1 fp1...
網編訓練之新聞敏感度和其他
什麼是新聞敏感度 當你看到一張,甚至是一條資訊,是否能將該或資訊中表達出來的內容與你的工作內容關聯起來,以更好的提公升工作業績,具體而言指,在自己所屬的內容編輯領域,以引爆熱點為本質的內容。這一點跟產品經理的產品敏感度相似,即看到乙個新功能,馬上就可以猜測出設計者的目的是什麼。新聞敏感度從 來?1 ...