1. 混淆矩陣
對於乙個分類器（二分類），**結果和真實情況總共存在四種情況，
**值分為正類、負類，真實值分分為正類、父類，兩兩組合，共有四種情況，如下所示，即組成乙個混淆矩陣
針對多分類問題，真實情況有n類，**情況有n類，所以其混淆矩陣為nxn
準確率即為所有**正確的樣本 / 樣本總數
即 accuracy = （tp+ tn） / （tp+ fn+ fp + tn）
準確率是最常用的評估指標，但是遇到樣本不平衡問題，容易失效。
3.precision&recall&f1_score
3.1精度即為**出的真正的正樣本佔**出的正樣本的比例，又稱查準率
即 precision = tp / （tp + fp）
3.2召回率即為**出的真正正樣本佔所有正樣本的比例，又稱查全率
即recall = tp/ （tp+ fn）
f1分數
精確率和召回率的調和平均
f1 = 2 / (1/precision + 1/recall)
4. pr 曲線
一般我們將概率大於0.5判定為1（正例），概率小於0.5判定為0（反例），這樣就可以得到一組p值和r值
如果我們將0.4作為劃分正例、反例的閾值標準，也可以得到一組p、r值。
根據不懂閾值獲得多組p、r值，將他們畫在以r為橫軸，以p為縱軸的座標系上，就可以得到一條曲線，即pr曲線
閾值 = 0.3時，p = 4 / 7， r= 4 / 4，
閾值 = 0.4時，p = 4 / 6， r= 4 / 4，
閾值 = 0.5時，p = 3/ 4， r= 2 / 4，
閾值 = 0.6時，p = 2 /2 ， r=1 / 4，
閾值 = 0.7時，p = 1 / 1， r= 4 / 4，
閾值 = 0.8時，p = 1， r= 0 / 4，
依據此可以繪製出一條pr曲線。
不同的模型有不同的pr曲線，如何根據不同的pr曲線判斷模型的好壞呢
如果乙個學習器的p-r曲線被另乙個學習器的p-r曲線完全包住，則可斷言後者的效能優於前者，例如上面的a和b優於學習器c。
但是a和b的效能無法直接判斷，我們可以根據曲線下方的面積大小來進行比較，
但更常用的是平衡點或者是f1值。平衡點（bep）是p=r時的取值，如果這個值較大，則說明學習器的效能較好。而f1 = 2 * p * r ／( p + r )，同樣，f1值越大，我們可以認為該學習器的效能較好。
5. tpr&fpr
5.1tpr（true positive rate）真正例率, 可以理解為所有正類中，有多少被**成正類（正類**正確)
tpr = tp / (tp + fn)
5.2fpr（false positive rate）假正例率，可以理解為所有反類中，有多少被**成正類（正類**錯誤）
fpr = fp / （tn + fp）
6.roc曲線與auc
同理，根據不同的閾值，會有多組tpr和fpr，這樣我們把在這些點畫在乙個以tpr為縱軸，fpr為橫軸的座標系中，就構成了roc曲線
roc曲線下的面積即為auc
當閾值設為0時，**值全部為正類，tpr = 1， fpr = 1
當閾值為1 時，**值全部分負類， tpr = 0， fpr= 0，所以可以繪製出上圖曲線
根據roc曲線如何判定模型的好壞呢？
我們肯定是希望tpr卻大越好，fpr越小越好，所以auc越大，模型越好。
分類模型的評估方法簡介
一 混淆矩陣 混淆矩陣 confusion matrix 於資訊理論，在機器學習 人工智慧領域，混淆矩陣 confusion matrix 又稱為可能性 或是錯誤矩陣，是一種用矩陣呈現的視覺化工具，用於有監督學習，無監督學習通常用匹配矩陣 matching matrix 其名字源自它容易表明多個類是...
機器學習 分類模型的評估
estimator.score 混淆矩陣 在分類任務下，結果與正確標記之間存在四種不同的組合，構成混淆矩陣 適用於多分類 貓 混淆矩陣 狗 混淆矩陣 評估標準 準確率 精確率和召回率。精確率 結果為正例樣本中真實為正例的比例 查的準 召回率 真實為正例的樣本中 結果為正例的比例 查的對，對正樣本的區...
分類模型效果評估指標
1 準確率 精確率 召回率 f1 score 我們以分類演算法為例，假設班裡有50個同學，其中男生30個，女生20個，我們根據身高 體重 頭髮長度 聲音分貝等等特徵，想找到所有女生，比如已經有這樣乙個分類器了，得到結果如下 這裡我們是要找到所有女同學，故把女同學作為正樣本 positive 男同學作...