個人掘金鏈結
概率（probability）：描述已知引數時的隨機變數的輸出結果；
似然函式（likelihood）：用來描述已知隨機變數輸出結果時，未知引數的可能取值。
\[l(\theta | x) = f(x | \theta)
\]似然函式和密度函式是完全不同的兩個數學物件，前者是關於\(\theta\)的函式，後者是關於\(x\)的函式。
數學期望（mean）：試驗中，每次可能結果的概率乘以其結果的總和。
（伯努利）大數定律：當試驗次數足夠多時，事件發生的頻率無窮接近於該事件發生的概率。
伯努利試驗：設試驗e只可能有兩種結果：「a」和「非a」
n重伯努利試驗：將e獨立的重複地進行n次,則稱這一穿重複的獨立試驗為n重伯努利試驗
二項分布（伯努利分布）：將一伯努利試驗重複了n次,在這n次試驗中成功次數k,k為隨機變數,稱為二次隨機變數,其分布稱為二項分布
\[p(x = k) = c_n^kp^k(1-p)^ , k = 1,2,...,n
\]正態分佈:又稱「高斯分布」
\[f(x) = \frac 1 \sigma} e ^ }
\]\[\log ab = \log a + \log b
\]矩陣轉置：行變列，列變行。
矩陣乘法：a的列數必須與b的行數相等
\[a =
\left[
\begin
a & b & c
\end \right]
\\\\
b =
\left[
\begin
e & f & g
\end \right]
\\\\
a^t b = ae + bf + cg
\]矩陣求導
\[\frac )} = 2ax
\\\\
\frac )} = a
\\\\
\frac )} =
\]\[y = wx + b
\]當存在多個特徵引數的時候，不同的特徵引數對目標函式值有不同的權重引數。
\[h_\theta(x) = \theta _ 1 x _ 1 + \theta _2 x _ 2 + ... + \theta _n x _ n
\\\\
= \sum_^n\theta _ i x _ i
\]使用矩陣來表示
\[\theta^t x =
\left[
\begin
\theta _ 1 \\\\
\theta _ 2 \\\\
.\\\\
.\\\\
.\\\\
\theta _ n \\\\
\end \right]
\left[
\begin
x _ 1 & x _ 2 & ... & x _ n
\end \right]
= \sum_^n\theta _ i x _ i
= h_\theta(x)
\]誤差項：真實值和**值之間存在的乙個誤差，我們通常希望誤差越小越好。
\[h_\theta(x) = \theta ^ t x + \xi
\]\[y ^ = \theta ^ t x ^ + \xi ^
\]誤差項符合高斯分布，所以
\[p(\xi _ i) = \frac 1 \sigma} e ^ }
\]\[p(y _ i | x _ i ; \theta) = \frac 1 \sigma } e ^ ^ 2 } }
\]要計算某些引數和特徵組合讓誤差最小，這裡引入似然函式
\[l(\theta) = \prod_^ p(y _ i | x _ i ; \theta) = \prod_^ \frac 1 \sigma } e ^ ^ 2 } }
\]\[\log l(\theta) = \log \prod_^ \frac 1 \sigma } e ^ ^ 2 } }
\]\[= \sum_^ \log \frac 1 \sigma } e ^ ^ 2 } }
\]\[= \sum_^ ( \log \frac 1 \sigma } + \log e ^ ^ 2 } })
\]\[= m \log \frac 1 \sigma } - \frac 1 ^ 2 } \sum_^ ^ 2
\]因不考慮定值，得出\(j(\theta)\)越小越好
\[j(\theta) = \frac 1 \sum_^ ^ 2
\]根據矩陣知識，將上式轉換
\[j(\theta) = \frac 1 \sum_^ ^ 2
\]\[= \frac 1 (x \theta - y) ^ t (x \theta - y)
\]對矩陣求偏導
\[\partial_\theta j(\theta) = \partial _ \theta ( (x \theta - y) ^ t (x \theta - y) } )
\]\[= \partial_\theta ( \theta ^ t x ^ t - y ^ t ) (x \theta - y) ) }
\]\[= \partial _ \theta ( - - + ) }
\]\[= \frac 1 ( - - )
\]\[= -
\]最好的情況是，偏導數為0，說明梯度遞減已經到達最底部
線性回歸最優權重求解如下:
線性回歸模型原理及推導
今天我們來看乙個最常見的機器學習模型 線性回歸 linear regression 模型。先舉個例子讓你明白什麼是線性回歸。現在我們有房屋面積和 的一些資料，如下圖 現在我們想知道的是，如果給乙個新的房屋面積130m 能否根據已知的資料來 新的面積對應的 是多少呢？這時，線性回歸模型就派上用場了。我...
線性模型（二） 線性回歸公式推導
我們在初中學習線性方程的時候就已經接觸過回歸的相關概念，在這裡簡單介紹一下機器學習中的 回歸 機器學習的目的有兩個 回歸和分類，回歸是解決連續資料的 問題，而分類是為了解決離散資料的 問題。線性回歸是機器學習演算法中最簡單的演算法之一，它是監督學習的一種演算法，主要思想是在給定訓練集上學習得到乙個線...
線性回歸詳細推導 基於西瓜書
3.1基本定義 線性模型 linear model 試圖學得乙個通過屬性得線性組合來進行 得函式，即 f x w 1x 1 w 2x 2 dots w dx d b quad 3.1 一般用向量的形式寫成 f x w tx b quad 3.2 其中，w w 1 w 2 dots w d w 和 b...