機器學習相關知識點

1、tp——將正類**為正類數

fn——將正類**為負類數

fp——將負類**為正類數

tn——將負類**為負類數

精確率（precision）：

p = tp/(tp+fp)

反映了被分類器判定的正例中真正的正例樣本的比重。

準確率（accuracy）：

a = （tp+tn）/ （p+n） = （tp+tn）/ （tp+fn+fp+tn）

反映了分類器統對整個樣本的判定能力——能將正的判定為正，負的判定為負

召回率（recall）：

r = tp/（tp+fn）= 1-[fn/（tp+fn）]

反映了被正確判定的正例佔總的正例的比重

f1值：

f1 = 2*（recall * precision）/（recall + precision）

2、一般認為，增加隱層數可以降低網路誤差（也有文獻認為不一定能有效降低），提高精度，但也使網路複雜化，從而增加了網路的訓練時間和出現「過擬合」的傾向， svm高斯核函式比線性核函式模型更複雜，容易過擬合。

產生式模型(generative model)與判別式模型(discrimitive model)是分類器常遇到的概念，它們的區別在於：

對於輸入x，類別標籤y：

產生式模型估計它們的聯合概率分布p(x,y)

判別式模型估計條件概率分布p(y|x)

產生式模型可以根據貝葉斯公式得到判別式模型，但反過來不行。

andrew ng在nips2023年有一篇專門比較判別模型和產生式模型的文章：

on discrimitive vs. generative classifiers: a comparision of logistic regression and ***** bayes

(生成式模型：

判別式分析、樸素貝葉斯、k近鄰（knn）、混合高斯模型、隱馬爾科夫模型（hmm）、貝葉斯網路、sigmoid belief networks、馬爾科夫隨機場（markov random fields）、深度信念網路（dbn）

判別式模型：

線性回歸（linear regression）、邏輯回歸（logistic regression）、神經網路（nn）、支援向量機（svm）、高斯過程（gaussian process）、條件隨機場（crf）、cart（calssification and regression tree）

4、在文字分類中，首先要對資料進行特徵提取，特徵提取中又分為特徵選擇和特徵抽取兩大類，在特徵選擇演算法中有互資訊，文件頻率，資訊增益，卡方檢驗以及期望交叉熵。

期望交叉熵，以文字分類為例子，期望交叉熵用來度量乙個詞對於整體的重要程度。

在id3決策樹中，也使用資訊增益作為特徵選擇的方法，在c4.5決策樹中，使用資訊增益比作為特徵選擇的方法，在cart中，使用基尼指數作為特徵選擇的方法 5、

在分類問題中,我們經常會遇到正負樣本資料量不等的情況,比如正樣本為10w條資料,負樣本只有1w條資料,以下最合適的處理方法是：

將負樣本重複10次,生成10w樣本量,打亂順序參與分類；

從10w正樣本中隨機抽取1w參與分類；

將負樣本每個權重設定為10,正樣本權重為1,參與訓練過程。

解決這類問題主要分重取樣、欠取樣、調整權值

1. 重取樣。

改變資料分布消除不平衡，可能導致過擬合。

2. 欠取樣。

如果1：10算是均勻的話，可以將多數類分割成為1000份。然後將每乙份跟少數類的樣本組合進行訓練得到分類器。而後將這1000個分類器用assemble的方法組合位乙個分類器。a選項可以看作此方式，因而相對比較合理。

另：如果目標是 **的分布跟訓練的分布一致，那就加大對分布不一致的懲罰係數。

3. 權值調整。