常見機器學習模型總結

2022-06-29 17:09:13 字數 795 閱讀 6402

1)分類:線性分類器(如lr)、支援向量機(svm)、樸素貝葉斯(nb)、k近鄰(knn)、決策樹(dt)、整合模型(rf/gdbt等)

2)回歸:線性回歸、支援向量機(svm)、k近鄰(knn)、回歸樹(dt)、整合模型(extratrees/rf/gdbt)

資料聚類(k-means)/ 資料降維(pca)等等.

1-各個模型分別基於哪些數學假設、適合處理什麼樣的資料、優缺點、評測指標及其計算方法

數學假設

模型優缺點

評測指標及其計算方法

lr使用sigmoid函式對映到0-1

與隨機梯度上公升演算法相比,**精度準確,

但是耗費時間長

準確性(accuracy)

召回率(recall)

精確率(precision)以及f1

nb各個維度上的特徵被分類的條件概

率之間是相互獨立的、貝葉斯公式

廣泛用於文字分類

優點:速度快,引數估計的個數銳減

缺點:在特徵關聯性較強的任務效能差

同上整合模型

訓練多個模型

rf---bagging

gdbt----boosting

優點:效能高、穩定性強、廣泛應用於工業界

缺點:訓練時間長,調參是體力活

xgb、lightgbm是比較快的

同上回歸相關的模型

svm有三種核函式(linear/poly/rbf)

r^2/mae/mse/rmse

常見機器學習演算法總結

機器學習演算法主要分為以下2種 有監督與無監督。再細分可分為四種 分類,聚類,回歸,關聯四大類演算法。分類與回歸屬於有監督學習。聚類與關聯屬於無監督學習。分類演算法主要有knn,決策樹,樸素貝葉斯,svm,邏輯回歸,adaboost演算法。knn演算法 基於距離進行分類,選取前k個最相似的樣本,看這...

常見機器學習模型之間的關係

1.中文解釋 線性回歸。2.模型思想 對於能夠以f xi wxi b表達的線性模型,線性回歸就是試圖學得恰當得向量w和標量b,使得f xi yi,其中yi是真實輸出。那只需要設計乙個衡量f xi 與yi的差異函式e xi,yi,w,b 機器學習中稱為代價函式或損失函式,然後使該對函式求得最小值,對應...

常見機器學習演算法優缺點

1 線性模型 形式簡單 易於建模 很好的可解釋性 2 邏輯回歸 無需事先假設資料分布 可得到近似概率 對率函式任意階可導的凸函式,許多數值優化演算法都可直接用於求取最優解 3 線性判別分析 lda 當兩類資料同先驗 滿足高斯分布且協方差相等時,lda可達到最優分類 4 boosting 代表adab...