roc(receiver operating characteristic,受試者工作特徵曲線)的概念來自訊號檢測原理中
其他相關的效能評價標準
上面有些概念還是不要看中文的好,直接用英文意思就好了,不然看到不同的文章會有不同的叫法,會誤導自己。
這裡著重理解roc曲線求取最優閾值或者說最優分類器。下面通過乙個例子來分析:乙個場景是在人臉檢測(detection)中,很多相關的研究或者企業評價他們的檢測效能程度是通過roc曲線來評定的,如知名的人臉檢測評測平台fddb
(face detection data set and benchmark)是由麻薩諸塞大學計算機系維護的一套公開資料庫,為來自全世界的研究者提供乙個標準的人臉檢測
評測平台,其中涵蓋在自然環境下的各種姿態的人臉;該校還維護了lfw
等知名人臉資料庫供研究者做人臉識別
(recognition)的研究,資料集p和n均為ground truth
,即已經標定好是有人臉,如下定義:
p(有人臉資料集)
n(無人臉資料集)
被檢測出人臉
tpfn
未被檢測出
fptn
roc曲線中用(fpr,tpr)來表示座標系中的(x,y)座標。
當有多個分類器時(這裡可以認為有多個不同效能的人臉檢測模型或者是同乙個人臉檢測模型的不同檢測閾值作為分類器),得到roc圖:
那麼iso精度線表示為:y=ax+b
選取最優分類器,或者從上面說的選取最優的人臉檢測模型或者是同乙個人臉檢測模型中最優的閾值(threshold)。從roc曲線中可以得知,tpr越高,fpr越低則代表著分類器越好,即靠近roc座標左上角。
roc曲線有乙個很好的優點,當正負樣本(p和n)數量變化時,roc曲線能夠保持不變,這就為找到最優分類器提供了保證。
很明顯就是要求離散roc曲線與iso精度線的切點了,這個切點就是最優分類器。具體的怎麼去通過程式**實現就不提供了。
首先是要計算得到各分類器的roc座標的,即通過求取tp,fp,tn,fn,然後求取tpr,fpr獲得座標,再通過已知的iso精度線slope,就可以計算得到切點了。
參見
ROC曲線及其matlab實現ROC曲線的繪畫
roc曲線 receiver operating characteristic curve 是利用classification模型真正率 true positive rate 和假正率 false positive rate 作為座標軸,圖形化表示分類方法的準確率的高低。roc圖的一些概念定義 真正...
ROC曲線 PR曲線
在 的結果分析中,roc和pr曲線是經常用到的兩個有力的展示圖。1.roc曲線 roc曲線 receiver operating characteristic 是一種對於靈敏度進行描述的功能影象。roc曲線可以通過描述真陽性率 tpr 和假陽性率 fpr 來實現。由於是通過比較兩個操作特徵 tpr和...
ROC閾值曲線
本文主要介紹乙個評價分類器穩定性的指標 roc閾值曲線。對於乙個已知的二分類結果 假設一共正,負兩個類別 可以把結果的資料分成以下4類 a原來的正類被分為正類,b原來的正類被分為負類,c原來的負類被分為正類,d原來的負類被分為負類。我們把a除以分類後的正類的數量稱作真陽性率 trp 把c除以分類以後...