1. 查準率p：指查出來的有幾個對的
2. 查全率r：指對的有幾個被查出來
3. 特別的，對於二分類問題，將**的正誤與真實的正誤交叉構成「混淆矩陣」，分為真正tp、假正fp、真反tn、假反fn
4. 很明顯p-r是互斥的，做p-r曲線如下圖，且與 p=r 的交點稱為平衡點（bep），平衡點對應的(p,r)值越高或p-r曲線圍得面積越大，就越好。因此平衡點的值成為模型效能度量的標準之一。
5. 當然不同問題對pr要求不同，例如推薦演算法看重p，罪犯檢索看重r，因此提出更為常用的評價準則
其中β大於0小於1時p更重要，大於1sh時r更重要,，等於1時就是經典的f1
6. 另外，對於多個模型（同一問題不同資料集分割方法，例如交叉驗證）的多個混淆矩陣，採取分別計算對應的p、r再取平均再計算f
7. roc與auc ：
對於分類問題（以二分類為例），很多模型給出的是樣本屬於某個分類的概率（對於二分類就是**為正的概率），我們一般稱為樣本分數，之後我們通過設定閾值來決定（大於閾值）哪些是**為正的樣本，再結合真實情況，由混淆矩陣計算tpr和fpr。
很明顯，乙個閾值值對應乙個（tpr，fpr）值對，我們將閾值取遍[ 0，1 ],就能得到無數個（tpr，fpr）值對，這些值對構成的曲線就是tpr-fpr圖，又稱roc曲線。曲線下方圍成的面積就是auc。
這個圖的特徵是，越靠近（0，0）點，閾值越趨近與1。整體曲線越趨近於（0，1）點，模型效果也好
但是，由於樣本數是有限的，且一些小幅度閾值變化並不會影響tpr，fpr變化，所以roc曲線不是「光滑的」，而且我們也沒必要取遍[ 0，1 ]，只需要取遍樣本分數從大到小的不同的值即可。
下面給出auc計算方法：
1）由大到小取遍分數作為閾值，由於roc曲線不是「光滑的」，我們可以假設曲線面積就是每乙個不同閾值的得來的（tpr，fpr）對應的小梯形的面積和，設共m個樣本，當前分數為sn，對應tprn，fprn，從分數s0到sm-1則公式為
2）還有一種考慮，乙個關於auc的很有趣的性質是，它和wilcoxon-mann-witney test是等價的。而wilcoxon-mann-witney test就是從樣本集中隨機抽兩個樣本，滿足正類樣本的分數大於負類樣本的分數（positive class』s score is greater than negative class』s score,一下簡寫為pgn）的概率，這裡包含「（a,b）與（b，a）對稱重複」、「兩正兩負無意義比較」。所以簡單來說，就是假設有m個正樣本，n個負樣本，將他們一一對比m*n次，pgn的「頻率」，這個頻率的分母是m*n但分子不是簡單的pgn條目數，而是pgn條目數加0.5*「正負樣本分數相等」的條目數。這種估計隨著樣本規模的擴大而逐漸逼近真實值。這個公式不好給，後面有**。
3）在2的基礎之上延伸出一種複雜度更低的計算方法——rank法，就是假設樣本數為n，正樣本數為m，負樣本數為n，將分數由大到小排序，並設最大分數對應的樣本的rank值為n，第二大的為n-1以此類推，這樣一定程度上就保證rank代表該條樣本對pgn的貢獻。如果我們隨機抽乙個樣本且它恰好為正樣本（避免對稱重複），當它與其他樣本比較時，不難理解每個正樣本都要和其他m-1個正樣本比較一次這些是無意義的，減掉（避免無意義比較）。最終公式為，正樣本rank和減去冗餘比較除次數。
注意的是，對於 『2)' 中提到的「正負樣本分數相等」的情況採取的方法是，相同分數的正樣本rank用與其同等分數的全部樣本rank和的平均值代替，在把所有正樣本rank相加。公式泛化為下式，其中rankj是與正樣本i分數值相同的i個樣本的rank值。
上**！
8. 代價曲線與代價敏感錯誤率
機器學習周志華筆記
1，監督學習 分類 回歸 無監督學習 聚類 2，決策樹 根據資訊增益的大小來確定節點 資訊熵 描述事務確定性程度的值 需要多少個bit來描述資訊 ent d pklog2pk 資訊增益 資訊熵 某個屬性劃分的平均資訊熵 該屬性劃分純度 3，支援向量機中對超平面的理解 劃分超平面用以下線性方程表示 w...
周志華 機器學習 筆記
學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。對於上面這句話 你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分布和你的處理方法相符嗎？沒有免費的午餐定理 ...
《機器學習》（周志華）學習筆記（一）
一 假設空間 科學推理的兩大手段 歸納 induction 和演繹 deduction 歸納 泛化過程，從具體的事實歸結出一般性規律 演繹 特化過程，從基礎原理推演出具體狀況 學習過程可以看作乙個在所在假設組成的空間中進行搜尋的過程，搜尋目標是找到與訓練集 匹配 fit 的假設，即可以將訓練集中的樣...