「沒有測量，就沒有科學。」 這是科學家門捷列夫的名言。在電腦科學中，特別是在機器學習的領域，對模型的測量和評估同樣至關重要。只有選擇與問題相匹配的評估方法，我們才能夠快速的發現在模型選擇和訓練過程中的可能出現的問題，迭代地對模型進行優化。本文將總結機器學習最常見的模型評估指標，其中包括：
看一看下面這個例子：假定瓜農拉來一車西瓜，我們用訓練好的模型對這些西瓜進行判別，顯然我們可以使用錯誤率來衡量有多少比例的瓜被判別錯誤。但如果我們關心的是「挑出的西瓜中有多少比例是好瓜」，或者「所有好瓜中有多少比例被挑出來了」，那麼錯誤率顯然就不夠用了，這時我們需要引入新的評估指標，比如「查準率」和查全率更適合此類需求的效能度量。
在引入查全率和查準率之前我們必須先理解到什麼是混淆矩陣（confusion matrix）。這個名字起得是真的好，初學者很容易被這個矩陣搞得暈頭轉向。下圖a就是有名的混淆矩陣，而下圖b則是由混淆矩陣推出的一些有名的評估指標。
我們首先好好解讀一下混淆矩陣裡的一些名詞和其意思。根據混淆矩陣我們可以得到tp,fn,fp,tn四個值，顯然tp+fp+tn+fn=樣本總數。這四個值中都帶兩個字母，單純記憶這四種情況很難記得牢，我們可以這樣理解：第乙個字母表示本次**的正確性，t就是正確，f就是錯誤；第二個字母則表示由分類器**的類別，p代表**為正例，n代表**為反例。比如tp我們就可以理解為分類器**為正例（p），而且這次**是對的（t），fn可以理解為分類器的**是反例（n），而且這次**是錯誤的（f），正確結果是正例，即乙個正樣本被錯誤**為負樣本。我們使用以上的理解方式來記住tp、fp、tn、fn的意思應該就不再困難了。，下面對混淆矩陣的四個值進行總結性講解：
precision指標在中文裡可以稱為查準率或者是精確率，recall指標在中衛裡常被稱為查全率或者是召回率，查準率 p和查全率 r分別定義為：
查準率p和查全率r的具體含義如下：
這裡想強調一點，precision和accuracy（正確率）不一樣的，accuracy針對所有樣本，precision針對部分樣本，即正確的**/總的正反例：
查準率和查全率是一對矛盾的度量，一般而言，查準率高時，查全率往往偏低；而查全率高時，查準率往往偏低。我們從直觀理解確實如此：我們如果希望好瓜盡可能多地選出來，則可以通過增加選瓜的數量來實現，如果將所有瓜都選上了，那麼所有好瓜也必然被選上，但是這樣查準率就會越低；若希望選出的瓜中好瓜的比例盡可能高，則只選最有把握的瓜，但這樣難免會漏掉不少好瓜，導致查全率較低。通常只有在一些簡單任務中，才可能使查全率和查準率都很高。
再說prc， 其全稱就是precision recall curve，它以查準率為y軸，、查全率為x軸做的圖。它是綜合評價整體結果的評估指標。所以，哪總型別（正或者負）樣本多，權重就大。也就是通常說的『對樣本不均衡敏感』，『容易被多的樣品帶走』。
上圖就是一幅p-r圖，它能直觀地顯示出學習器在樣本總體上的查全率和查準率，顯然它是一條總體趨勢是遞減的曲線。在進行比較時，若乙個學習器的pr曲線被另乙個學習器的曲線完全包住，則可斷言後者的效能優於前者，比如上圖中a優於c。但是b和a誰更好呢？因為ab兩條曲線交叉了，所以很難比較，這時比較合理的判據就是比較pr曲線下的面積，該指標在一定程度上表徵了學習器在查準率和查全率上取得相對「雙高」的比例。因為這個值不容易估算，所以人們引入「平衡點」(bep)來度量，他表示「查準率=查全率」時的取值，值越大表明分類器效能越好，以此比較我們一下子就能判斷a較b好。
bep還是有點簡化了，更常用的是f1度量：
f1-score 就是乙個綜合考慮precision和recall的指標，比bep更為常用。
1 2人工智慧與機器學習
機器學習是一門交叉學科 模式識別，機器學習也是模式學習，只是換了個說法，機器學習把各種各樣的場景當成各種模式，把模式識別出來，相當於總結模式的規律 資料探勘，很多時候是和資料庫的知識，然後加上核心的演算法，就可以做資料探勘方面的事情了。拿到資料就會對資料進行清洗 etl 再加上一些機器學習演算法，就...
Python人工智慧深度學習RNN模型結構流程
目錄 rnn主要特點是，在dnn隱藏層的輸出內容會被儲存，並且可以作為輸入給到下乙個神經元。如下圖所示，當 台北 這個詞被輸入的時候，前面的詞有可能是 離開 有可能是 到達 如果把上一次輸入的 離開 所得的隱藏層內容，輸入給下一層，這樣就有可能區分開是 離開台北 還是 到達台北 如果隱藏層儲存的內容...
Tensorflow學習筆記（一） 人工智慧概述
二 神經網路的發展歷史 三起兩落 三 機器學習的典型應用 四 總結 人工智慧的概念 機器模擬人的意識和思維 重要人物 艾倫 麥席森 圖靈 alan mathison turing 人物簡介 1912 年 6 月 23 日 1954 年 6 月 7 日,英國數學家 邏輯學家,被稱為電腦科學之父,人工智...