模型評估的重要指標

模型的測試一般在以下幾個方面進行比較，即模型的重要評價指標，分類模型的評價指標主要有：準確率/召回率/精準率/f值/roc曲線/auc曲線，回歸模型的評價指標主要有rmse（均方根誤差）mse（均方誤差）、平均絕對誤差、中值絕對誤差、

決定係數，接下來針對模型的評價指標進行相關的闡述。

在介紹各項指標之前先簡單介紹下混淆矩陣

真正例（tp）：實際上是正例的資料點被標記為正例

假正例（fp）：實際上是反例的資料點被標記為正例

真反例（tn）：實際上是反例的資料點被標記為反例

假反例（fn）：實際上是正例的資料點被標記為反例

準確率（accuracy 正確率）=所有**正確的樣本/總的樣本（tp+tn）/總

精確率（precision）= 將正類**為正類 / 所有**為正類 tp/（tp+fp）

召回率（recall）= 將正類**為正類 / 所有正真的正類 tp/（tp+fn）

f值（f-1score） = 精確率 * 召回率 * 2 / ( 精確率 + 召回率) （f 值即為精確率和召回率的調和平均值）

roc曲線：接收者操作特徵(receiver operating characteristic),roc曲線上每個點反映著對同一訊號刺激的感受性。

縱軸：真正類率(true postive rate tpr)，也叫真陽性率

橫軸：假正類率(false postive rate fpr)，也叫偽陽性率

由上表可得出橫，縱軸的計算公式：

(1)真正類率(true postive rate)tpr: tp/(tp+fn), 代表分類器 **為正類中實際為正例項

佔所有正例項的比例。

(2)假正類率(false postive rate)fpr: fp/(fp+tn)，代表分類器 **為正類中實際為負例項佔所有負例項的比例。

橫軸fpr: fpr越大，**正類中實際負類越多。

縱軸tpr：tpr越大，**正類中實際正類越多。

理想目標：tpr=1，fpr=0，即圖中(0,1)點，此時roc曲線越靠攏a點，越偏離45度對角線越好。

1）曲線與fp_rate軸圍成的面積（記作auc）越大，說明效能越好，即圖上l2曲線對應的效能優於曲線l1對應的效能。即：曲線越靠近a點（左上方）效能越好，曲線越靠近b點（右下方）曲線效能越差。

（2）a點是最完美的performance點，b處是效能最差點。

（3）位於c-d線上的點說明演算法效能和random猜測是一樣的–如c、d、e點。位於c-d之上（即曲線位於白色的三角形內）說明演算法效能優於隨機猜測–如g點，位於c-d之下（即曲線位於灰色的三角形內）說明演算法效能差於隨機猜測–如f點。

（4）雖然roc曲線相比較於precision和recall等衡量指標更加合理，但是其在高不平衡資料條件下的的表現仍然過於理想，不能夠很好的展示實際情況。