事情還沒有發生，要求這件事情發生的可能性的大小，是先驗概率。事情已經發生，要求這件事情發生的原因是由某個因素引起的可能性的大小，是後驗概率，後驗概率的計算，要使用貝葉斯公式。
先驗概率僅僅依賴於主觀上的經驗估計，也就是事先根據已有的知識的推斷，在應用貝葉斯理論時，通常將先驗概率乘以似然函式（likelihoodfunction）再歸一化後，得到後驗概率分布，後驗概率分布即在已知給定的資料後，對不確定性的條件分布。
後驗概率=(似然度先驗概率)/標準化常量=標準似然度先驗概率
現在已經拿到了很多個樣本，這些樣本值已經實現，最大似然估計就是去找到那個（組）引數估計值，使得前面已經實現的樣本值發生概率最大。因為樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總。此時通過對引數求導數，並令一階導數為零，就可以通過解方程（組），得到最大似然估計值
找到乙個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值彙總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找乙個（組）估計值，使得實際值與估計值之差的平方加總之後的值最小，稱為最小二乘。
方差衡量資料的波動程度
均值：x‾=
1n∑i
=1nx
i\overline x=\frac\sum_^nx_i
x=n1i
=1∑n
xi
方差：s2=
1n−1
∑i=1
n(xi
−x‾)
2s^2=\sqrt\sum_^n(x_i-\overline x)^2}
s2=n−1
1i=
1∑n
(xi
−x)2
標準差:s=s
2s=\sqrt
s=s2
方差描述的是其本身資料的情況，如果我們想知道，某2種資料之間的關係，比如，年齡和身高。假設這裡有樣本集合f(x,y)=(xi,…,yi)，x表示年齡，y表示身高，那麼2者之間的關聯程度可以這麼定義：
c ov
(x,y
)=co
v(y,
x)=1
n−1∑
i=1n
(x1−
x‾)(
yi−y
‾)
cov(x,y)=cov(y,x)=\frac\sum_^n(x_1-\overline x)(y_i-\overline y)
cov(x,
y)=c
ov(y
,x)=
n−11
i=1
∑n(
x1−
x)(y
i−y
)上述協方差描述的是二維，即兩個變數之間的關係，如果是三維或者多維的情況則引入協方差矩陣來描述他們的關係。
設有n維隨機變數(x1
,x2,
...,
xn
)(x_1,x_2,...,x_n)
(x1,x
2,.
..,x
n)則σi,
j=co
v(xi
,xj)
=e(x
i−e(
xi))
e(xj
−e(x
j)
)\sigma_=cov(x_i,x_j)=e(x_i-e(x_i))e(x_j-e(x_j))
σi,j=
cov(
xi,
xj)
=e(x
i−e
(xi
))e(
xj−
e(xj
))則協方差矩陣：
σ =[
σ11σ1
,2..
.σ1,
nσ21σ
22...
σ2n.
....
....
...σ
n1σn
,2..
.σn,
n]
\sigma=\begin \sigma_ & \sigma_ &...&\sigma_\\ \sigma_ & \sigma_&...& \sigma_\\ ...&...&...&...\\\sigma_& \sigma_ &...&\sigma_\\ \end\quad
σ=⎣⎢⎢⎡
σ11
σ21
...
σn1
σ1,
2σ2
2..
.σn,
2.
....
....
...
σ1,n
σ2n
...
σn,n
⎦⎥
⎥⎤由協方差的性質可知，協方差矩陣σ
\sigma
σ是對稱矩陣。
Machine Learning 梯度下降
對於lost function利用梯度下降的方法實現引數調整，梯度下降在每一次迭代的過程中需要全部樣本參與，而隨機梯度法或增量梯度法在迭代中利用樣本中的乙個樣本更新引數。梯度下降達到全域性最優 include include using namespace std define maxiter 22...
安裝Machine Learning環境
公升級python版本到3.5以上。詳情參考linux公升級python版本 步驟1中也包含了安裝pip 第一批ml環境 pip install tensorflow pip install keras pip install beautifulsoup4 pip install lxml pip ...
機器學習（Machine Learning）
最近開始接觸機器學習，簡稱ml。ml 可以這樣理解，從一堆資料中提煉出特徵值。首先，我們需要在計算機中儲存歷史的資料。接著，我們將這些 資料通過機器學習演算法進行處理，這個過程在機器學習中叫做 訓練 處理的結果可以被我們用來對新的資料進行 這個結果一般稱之為 模型 對新資料 的 過程在機器學習中叫做...