正如下圖所示，f1的值同時受到p、r的影響，單純地追求p、r的提公升並沒有太大作用。在實際業務工程中，結合正負樣本比，的確是一件非常有挑戰的事。
auc是roc的積分（曲線下面積），是乙個數值，一般認為越大越好，數值相對於曲線而言更容易當做調參的參照。
pr曲線會面臨乙個問題，當需要獲得更高recall時，model需要輸出更多的樣本，precision可能會伴隨出現下降/不變/公升高，得到的曲線會出現浮動差異（出現鋸齒），無法像roc一樣保證單調性。在正負樣本分佈得極不均勻(highly skewed datasets)的情況下，prc比roc能更有效地反應分類器的好壞。
本markdown編輯器使用[stackedit][6]修改而來，用它寫部落格，將會帶來全新的體驗哦：
mae = 把mse的平方換成絕對值
• 技巧
o 在sklearn中，對於回歸任務，一般都提供了mse損失函式（基於樹的模型除外）。但有時我們會遇到sklearn中沒有定義的損失函式，那麼我們可以自定重寫模型或者定義函式，下面以xgboost為模型，mape作為損失函式為例（grad、hess分別對應損失函式一階導、二階導）。
二分類模型評估指標
accuracy tp tn tp fp tn fn 即正確 的正反例數 總數。準確率是 正確的結果佔總樣本的百分比，是很自然就會想到的指標，但很多專案場景都不適用！最主要的原因是樣本不平衡。舉個簡單的例子，比如在乙個總樣本中，正樣本佔90 負樣本佔10 樣本是嚴重不平衡的。對於這種情況，我們只需要...
二分類模型評價指標 AUC
auc的含義和計算 auc針對二分類模型效果進行評價，二分類模型有時可能得到的是乙個概率值，這個概率值表明為 0或1類 的可能性 不同於決策樹分類，我們會直接得到乙個確切分類 我們劃定乙個具體概率值p，大於則為正，小於則為負，然後使用acc或其他指標評價，其實這樣做有很大漏洞，我們不能準確找到這個具...
二分類問題評價指標
當乙個分類器建立後，要對其分類準確度進行評價。分類器的效能評價不僅能夠指導分類器的訓練過程，而且可以比較不同分類器的效能。本文主要介紹混淆矩陣和常用的幾個評價指標。對於乙個二分類問題，可以得到如下的混淆矩陣，行表示資料在模型上的 類別 predicted class predicted condit...