精確率
精確率(precision)是指模型**為真,實際也為真的樣本數量佔模型**所有為真的樣本數量的比例。
舉例來說明,比如警察要抓小偷,抓了 10 個人,其中有 6 個人是小偷,那麼精確率就是 6/10 = 0.6。
召回率
召回率(recall)有時候也叫查全率,是指模型**為真,實際也為真的樣本數量佔實際所有為真的樣本數量的比例。
舉例來說明,還是上面的警察抓小偷的例子,抓了 10 個人,其中 6 個人是小偷,還有另外 3 個小偷逃之夭夭,那麼召回率就是 6 / ( 6 + 3) ≈ 0.67。
f1值/fα值
一般來說,精確率和召回率是互斥的,也就是說精確率高的話,召回率會變低;召回率高的話,精確率會變低。所以設計了乙個同時考慮精確率和召回率的指標 f1值。f1值是精確率和召回率的調和平均,即
在某些場景下,我們對精確率與召回率的關注程度不一樣,這時候,f1值更一般的形式fα值就能夠滿足。fα值定義如下
其中,α 的大小表示召回率對精確率的相對重要程度。
很多時候我們遇到的是多分類問題,這就意味著每兩兩類別的組合都對應乙個二元的混淆矩陣。假設得到了 n 個二分類的混淆矩陣,那如何來平均這 n 個結果呢?
巨集平均第一種辦法就是先在各個混淆矩陣中分別計算出結果,再計算平均值,這種方式稱為「巨集平均」。
微平均除了上面的巨集平均之外,我們也可以將二元混淆矩陣的對應的元素進行平均,得到 tp、tn、fp、fn 的平均值,然後再根據這些平均值來計算,這種方式稱為「微平均」。
在認識機器學習演算法的常用評估指標之前,先明確一下幾個概念的定義:
tp(true positive):實際正樣本,**為正樣本
fp(false positive):實際負樣本,**為正樣本
tn(true negative):實際負樣本,**為負樣本
fn(false negative):實際正樣本,**為負樣本
上述四個概念的混淆矩陣:
可以發現,tpr和recall的計算公式是一樣的。那麼如何繪製roc曲線呢?可以看到,roc曲線是由一系列 (fpr, tpr)點構成的,但乙個特定的模型,只得到乙個分類結果,即只有一組 (fpr, tpr),對應roc曲線上的乙個點,如何得到多個呢?
我們將模型對所有樣本的**值(屬於正類的概率值)降序排列,然後依次將**的概率值作為閾值,每次得到該閾值下模型**結果為正類、負類的樣本數,然後生成一組 (fpr, tpr) 值,這樣就可以得到roc曲線上的一點,最後將所有的點連線起來就出現了roc曲線。很明顯,閾值設定的次數越多,就會生成更多的 (fpr, tpr) 值,畫出的roc曲線也就越光滑。也就是說 roc曲線的光滑程度與閾值設定次數的多少有絕對的關係,與樣本數量沒有必然聯絡。現實中,我們畫出的 roc 曲線多數都是不光滑的。
阿里四面(HR)
1.hr說說專案中你擔任的角色?答 從專案中自己擔任的角色完成的功能,在專案中如何和夥伴進行團隊協作,和自己在專案中有著什麼樣的成長進行回答 2.hr問,如何去處理團隊之間的任務問題?答 從如何進行任務分配,如何處理任務出現問題的場景,如何團結團隊進行回答 3.hr問,你在專案中遇到什麼問題,如果現...
微軟的四面楚歌
微軟在軟體和硬體方面的產品線之齊全,估計讓所有對手又恨又愛,正因為其不太專注,也給也其它產品更多的生存空間。下面是來自國外 繪的一張圖,名叫software wars 軟體戰爭 眾矢之的當然是microsoft。先看圖說話一下,了解的朋友可跳過該篇長舌文字,直接看後面的結論即可。另外,微軟現在已進入...
吹毛求疵 聆聽iPhone的「四」面絀歌
對於iphone的溢美之詞在各路 已經不計其數,所以我和那個老哥的主要話題就轉到了這個被冠以多 gps 手機的變革之物,究竟有何不足?他購買了iphone,在美國試用後,應該有了一定的發言權。1 不適合商務人士使用 iphone至少在現在沒有像blackberry windows mobile pa...