1、閉式解
閉式解也被稱為解析解，知是通過嚴格的公式所求得的解，即包含分式、三角函式、指數、對數甚至無限級數等基本函式的解的形式。通過給出解的具體函式形式，從解的表示式中就可以算出任何對應值。
2、正則化
p.s:推薦參考資料
（1）範數
假設 是乙個向量，它的 範數定義:
（2）常用正則化方法——懲罰項
在目標函式後面新增乙個係數的「懲罰項」是正則化的常用方式，為了防止係數過大從而讓模型變得複雜。在加了正則化項之後的目標函式為:
正則化時，對應懲罰項為 l1 範數 :
正則化時，對應懲罰項為 l2 範數:
從上式可以看出，
兩者都是通過加上乙個和項來限制引數大小，卻有不同的效果： 正則化更適用於特徵選擇，而 正則化更適用於防止模型過擬合。
3、arg
arg max f(x): 當f(x)取最大值時，x的取值：
arg min f(x)：當f(x)取最小值時，x的取值
表示使目標函式取最小值時的變數值
4、梯度下降
p.s:參考資料
梯度下降是迭代法的一種,可以用於求解最小二乘問題(線性和非線性都可以)。在求解機器學習演算法的模型引數，即無約束優化問題時，梯度下降（gradient descent）是最常採用的方法之一，另一種常用的方法是最小二乘法。
計算過程就是沿梯度下降的方向求解極小值
迭代公式為
演算法迭代的終止條件是梯度向量的幅值接近0即可。
5、線性回歸的概率論**——極大似然估計
（1）貝葉斯分類（公式）
經典貝葉斯公式：
在機器學習中的形式變成：
（2）似然函式
實際問題中我們能獲得的資料可能只有有限的樣本資料，而先驗概率和類條件概率（各類的總體分布）都是未知的。我們需要對其中的類條件概率進行估計，並將概率密度估計問題轉換成引數估計問題 ，由此我們用到極大似然的方法。
條件概率密度函式
因此，極大似然估計的本質就是求解貝葉斯公式中的似然項（類條件概率），也就是機器學習中「利用已知事物特徵來輸出資料」的過程。
（3）線性模型
接下來由似然函式構建線性模型，假設模型是關於自變數的線性函式
假設偏差項符合高斯分布，則有：
那麼可得這個線性模型的關於θ的似然函式：
或者寫成更容易理解的形式：
進行對數化之後變成：
由此，我們的問題轉換成了求解能夠得到極大似然的引數θ的引數估計問題。
我們的目的是令似然函式最大，因此要求
這一項取最小，它在形式上等同於前面提到的loss function，這也就是線性回歸的判斷標準之一——均方誤差。
（4）貝葉斯估計
上面的極大似然估計求引數的方式存在一些顯著的問題：
模型的複雜度會被兩個因素所控制：基函式的數目（的維數）和樣本的數目。儘管為對數極大似然估計加上乙個正則項（或者是引數的先驗分布），在一定程度上可以限制模型的複雜度，防止過擬合，但單純使用極大似然估計總是會令模型過於複雜以至於產生過擬合。
於是我們採用貝葉斯回歸（最大後驗概率估計map）的方式來改善極大似然估計中的不足。引數θ是服從一定先驗分布的隨機變數，則新的資料集d出現後，我們可以用於更新引數θ的估計，更新後的分布就是後驗概率分布。
貝葉斯估計的形式
從某種意義上，貝葉斯點估計是選取乙個隨機變數θ的統計值來代替分布，但真正意義上的貝葉斯估計方法應該是使用引數空間中所有的引數分別建立模型，用所有的模型進行估計，取所有估計值的期望為最終估計值，權值根據引數的概率分布計算，並加以降低計算量的方法。
之後我們再求這個模型的關於θ（下面用w代替）的似然函式並進行對對數化：
求最大的問題可以轉換為求後面兩項的最小值：
也就是求：
的最小值，我們將其定義為
也就是在前面講到的加入正則項後的loss function，由此整個鏈條可以完整穿起來，從線性模型->似然函式->極大似然估計下的loss function->正則化->貝葉斯估計下的loss function。
機器學習筆記1 線性回歸
資料探勘 人工智慧等領域中存在兩個 分類和回歸 先說回歸 一些簡單的數學題，求解問題往往通過求解未知數，也就是 通過給定的自變數和函式，通過函式求解得到未知數。而機器學習是，通過給定的自變數和函式的解，去求解函式。即求解function x y。通過樣本中大量的特徵 x 和目標變數 y 求得這個函式...
機器學習筆記1 線性回歸
機器學習三要素 演算法 資料 模型 三者關係 利用演算法通過在資料上訓練得到模型，模型可以用來在新的資料上 結果。資料 分為有標註 無標註資料，需要轉化為向量空間模型vsm，供計算機使用 模型 值y 和實際值y誤差越小模型越好。描述y 和y之間差別的函式叫損失函式 loss function 描述整...
線性回歸 機器學習實戰筆記
前言 剛開始看到線性回歸，總覺得這是不是和羅輯回歸又啥關係。對比一下吧。線性回歸用於數值 羅輯回歸用於分類。對於羅輯回歸 來說，用於分類的神經網路的最後一層也是乙個羅輯回歸。線性回歸 線性回歸比較簡單，找到一條最佳直線來擬合資料。擬合的目標可以是均方誤差最小。求最優的線性回歸直線的解法就是使用最小二...