在機器學習的過程中，有很多的演算法，演算法的原理及推導過程的理解尤為重要，演算法的理解深淺直接關係到對模型的構造能力，優化能力，故此，演算法原理及推導過程不可不知。**倒是其次，就那麼幾行，套模板即可。
前言知識指導：
泰勒展開公式
拉格朗日乘數法
梯度
最小二乘法
聯合概率與條件概率
貝葉斯公式
伯努利分布
二項分布
正態分佈
邊緣分布
極大似然估計
線性回歸
嶺回歸
lasso回歸
多項式回歸
解析解與數值解
最小二乘回歸（求解多元線性回歸解析解）
梯度下降法（求解多元線性回歸數值解）
knn演算法
kd-tree
邏輯回歸
softmax回歸
決策樹模型
id3演算法
c4.5演算法
cart演算法 softmax
整合學習
整合演算法
隨機森林
提公升演算法
gbdt(迭代決策樹)
adaboost
機器學習 深入SVM原理及模型推導（一）
svm模型大家可能非常熟悉，可能都知道它是面試的常客，經常被問到。它最早誕生於上世紀六十年代。那時候雖然沒有機器學習的概念，也沒有這麼強的計算能力，但是相關的模型和理論已經提出了不少，svm就是其中之一。svm完全可以說是通過數學推導出來的模型，由於當時還沒有計算機，所以模型當中的引數都是數學家們用...
機器學習 EM演算法推導
有時，我們用極大似然的時候，公式中可能會有隱變數 l i 1m p yi i 1 m z p yi z i 1m zp z p y i z 也就是 y 取什麼值是由隱含的變數 z 決定的。舉個栗子 有三個硬幣，abc，先拋a，由a的正反面決定下一步拋 b 還是拋 c a是正面拋b，a是反面拋c。第二...
機器學習 AdaBoost 原理與推導
adaboost 自適應 增強 boosting系列代表演算法，對同一訓練集訓練出不同的 弱 分類器，然後集合這些弱分類器構成乙個更優效能的 強 分類器 傳統boosting方法存在兩個問題 1.如何調整訓練集的權重分布以訓練出不同的弱分類器 2.如何將各個弱分類器聯合起來組成乙個強分類器 adab...