機器學習演算法主要分為以下2種：有監督與無監督。
再細分可分為四種：分類，聚類，回歸，關聯四大類演算法。
分類與回歸屬於有監督學習。
聚類與關聯屬於無監督學習。
分類演算法主要有knn，決策樹，樸素貝葉斯，svm,邏輯回歸，adaboost演算法。
knn演算法：基於距離進行分類，選取前k個最相似的樣本，看這k個樣本中，那個類別多，則**結果就是哪一類樣本。
決策樹：id3：根據資訊增益大小來生成決策樹。不能處理數值型
c4.5：根據資訊增益率來生成決策樹。能處理連續型和數值型。
樸素貝葉斯：條件概率，全概率，貝葉斯公式。
svm：支援向量機。找到最大的最小距離。使用拉格朗日乘子法和對偶問題求解拉格朗日係數，得到權重。
邏輯回歸lr：使用梯隊下降和隨機梯度下降法來求解係數。
adaboost演算法：訓練不同分類器，並逐步增加未正確分類樣本的權重。
聚類演算法有：k均值，基於距離的聚類，基於密度的聚類，基於層次的聚類，基於劃分的聚類，基於網格的聚類，基於模型的聚類。
k均值：根據距離來進行距離的典型。
回歸演算法：線性回歸，cart樹。
線性回歸：線性模型， 區域性加權線性回歸， 嶺回歸（lasso與前向逐步回歸）。
cart樹(gbdt樹)：回歸樹，模型樹。
關聯規則演算法有：apriori演算法，fp樹。
其他的一些工具有pca , svd等演算法。
pca：減去平均值，計算協方差矩陣c，再計算協方差矩陣c的特徵值與特徵向量，取前面n個教大的特徵值，並根據特徵向量將資料對映到新的空間中。
svd：svd常用於資訊檢索的隱性語義索引lsi和**語義分析。奇異值代表了文件的概念或者主題。
常見機器學習模型總結
1 分類 線性分類器 如lr 支援向量機 svm 樸素貝葉斯 nb k近鄰 knn 決策樹 dt 整合模型 rf gdbt等 2 回歸 線性回歸 支援向量機 svm k近鄰 knn 回歸樹 dt 整合模型 extratrees rf gdbt 資料聚類 k means 資料降維 pca 等等.1 各...
常見機器學習演算法優缺點
1 線性模型 形式簡單 易於建模 很好的可解釋性 2 邏輯回歸 無需事先假設資料分布 可得到近似概率 對率函式任意階可導的凸函式，許多數值優化演算法都可直接用於求取最優解 3 線性判別分析 lda 當兩類資料同先驗 滿足高斯分布且協方差相等時，lda可達到最優分類 4 boosting 代表adab...
常見機器學習模型之間的關係
1.中文解釋 線性回歸。2.模型思想 對於能夠以f xi wxi b表達的線性模型，線性回歸就是試圖學得恰當得向量w和標量b，使得f xi yi，其中yi是真實輸出。那只需要設計乙個衡量f xi 與yi的差異函式e xi，yi，w，b 機器學習中稱為代價函式或損失函式，然後使該對函式求得最小值，對應...