監督學習：我們的學習演算法使用的資料是給出正確答案的資料，然後我們執行學習演算法，**出更多的正確答案。（理解為像深度需學習類似，利用訓練樣本訓練處學習模型，然後用測試樣本對學習到的模型進行檢測，輸出**結果。）
無監督學習：可以理解為對於學習演算法所使用的資料集並沒有給出正確答案，學習演算法就是要對這資料集進行處理，通過特徵資訊學習出一些規律。如聚類（把一堆資料分成幾類吧）。通俗理解，就是學習演算法直接使用資料進行學習，沒有訓練了。
假設函式即為我們訓練集通過學習演算法學習到的模型，測試集可以通過這個模型獲得**值，然後可以與真實值進行對比。
損失函式：這裡介紹的損失函式主要是平方誤差函式，通過這個函式我們來獲得乙個最優的假設函式。線性回歸模型通常採用，通過乙個簡單的線性回歸模型，來介紹損失函式的作用。
損失函式公式：
j (θ
0,θ1
)=12
m∑i=
1m(h
θ(x(
i))−
y(i)
)2j\left(\theta_, \theta_\right)=\frac} \sum_^\left(h_\left(x^\right)-y^\right)^
j(θ0,
θ1)
=2m1
∑i=
1m(
hθ(
x(i)
)−y(
i))2
其中x (i
)x^x(i)
是第i個輸入，相應的y(i
)y^y(i)
為對應的輸出。
我們的目標就是想讓損失函式的值最小，因此要求出最優的θ
0\theta_
θ0,θ
1\theta_
θ1,使的j(θ
0,θ1
)j(\theta_, \theta_)
j(θ0,
θ1)
最小，即
j\left(\theta_, \theta_\right)=\frac} \sum_^\left(h_\left(x^\right)-y^\right)^ \\ \min \operatorname_\left(\theta_, \theta_\right)\end\right.
θ0,θ
1\theta_
θ1，
對損失函式求偏導，得：
∂ (θ
,θ)∂
θ=∂∂
g12m
∑i=1
m(h(
x(i)
−y(i
)))2
\frac=\frac \frac \sum_^\left(h\left(x^-y^\right)\right)^
∂θ∂(θ,
θ)=
∂g∂
2m1
∑i=1
m(h
(x(i
)−y(
i)))
2 其中j=0,1
獲得偏導後，同時更新θ
0\theta_
θ0,θ
1\theta_
θ1即
θ 0=
θ0−α
∂j(θ
0,θ1
)∂θ0
\theta_=\theta_-\alpha \frac, \theta_\right)}}
θ0=θ0
−α∂
θ0∂
j(θ0
,θ1
)θ1=
θ1−α
∂j(θ
0,θ1
)∂θ1
\theta_=\theta_-\alpha \frac, \theta_\right)}}
θ1=θ1
−α∂
θ1∂
j(θ0
,θ1
)其中α
\alpha
α為學習效率，對損失函式是否收斂有很大的影響，過大，過小都會有影響。
如上圖，當α
\alpha
α過小時，收斂速度會很慢
當α
\alpha
α過大時，可能會導致損失函式無法收斂情況。
多元線性回歸：即輸入特徵不在是1個，而是多個，
輸入為x=[
x1,x
2,…,
xn]x=\left[x_, x_, \ldots, x_\right]
x=[x1
,x2
,…,x
n]其中xix^
xi表示第i個訓練樣本的輸入特徵
x ji
\ x_j^
xji
表示第i個訓練樣本的第j個特徵。
假設函式為：
特徵放縮就是當輸入為多特徵時，存在兩個或多個特徵的值差別很大，（比如乙個範圍為（-0.5，0.5），
乙個為（1，500）），需要將大的特徵值往小的方向進行轉化。（因為如果特徵值相差很大的話，會導致收斂速度慢），常用方法有歸一化，即
機器學習學習筆記
2.機器學習書籍 機器學習tom,這個是老經典，就是翻譯欠佳 prml，這個書正版的超貴，但是比較新且系統，可以通過其他途徑搞個副本。3.自己動手編碼實現2 3種經典演算法，比如svm，lr，bpnn等。4.了解spark上目前支援的機器學習方法的用途和用法，這個在日常工作中會用到。知道的多一點，方...
機器學習 學習筆記
關於梯度下降演算法的優化與 會有三種方法優化梯度下降演算法 1.共軛梯度下降法 conjugate 2.變尺度法 bfgs 3.限制變尺度法 l bfgs 這些方法的好處是 1.不用選擇學習速率 2.收斂的速度快，執行效率高 但是她們的缺點在於 實現她們的方法太複雜，所以我們就可以使用語言的內建庫函...
機器學習筆記
梯度下降 值越大，函式變化越快。梯度下降 gradient descent 小結 啟用函式 relu函式是乙個單調遞增函式，用來解決線形問題。relu rectified linear units 啟用函式 池化和全連線 tensorflow 1.0 學習 池化層 pooling 和全連線層 den...