簡單，計算方便；
歐氏距離是一種很好的相似性度量標準；
在不同的表示域變換後特徵性質不變。
平方損失（square loss）的標準形式如下：
l(y,f(x))=(y−f(x))2l(y,f(x))=(y−f(x))2
當樣本個數為n時，此時的損失函式變為： l(
y,f(
x))=
∑i=1
n(y−
f(x)
)2y-f(x)表示的是殘差，整個式子表示的是殘差的平方和，而我們的目的就是最小化這個目標函式值（注：該式子未加入正則項），也就是最小化殘差的平方和（residual sum of squares，rss）。
而在實際應用中，通常會使用均方差（mse）作為一項衡量指標，公式如下： ms
e=(∑
i=1n
(y−f
(x))
2)/n
上面提到了線性回歸，這裡額外補充一句，我們通常說的線性有兩種情況，一種是因變數y是自變數x的線性函式，一種是因變數y是引數αα的線性函式。在機器學習中，通常指的都是後一種情況。
神經網路中常用的啟用函式
1.非線性 當啟用函式是線性的時候，乙個兩層的神經網路就可以逼近基本上所有的函式了。但是，如果啟用函式是恒等啟用函式的時候 即f x x 就不滿足這個性質了，而且如果mlp使用的是恒等啟用函式，那麼其實整個網路跟單層神經網路是等價的。2.可微性 當優化方法是基於梯度的時候，這個性質是必須的。3.單調...
神經網路中常用的啟用函式
修正線性單元，是最常用的非線性對映函式。常在神經網路隱層中使用，因為它在反向傳播中計算導數十分方便。導數為 relu的 軟化版 導數為 同樣將單個輸入值對映到 0,1 之間，但函式是對稱的。求導也很方便，導數為 將一層的輸出的多個值歸一化，通常在 各個類別的概率時用到，而且一般用在輸出層。圖類似於s...
神經網路啟用函式和損失函式
其導數及其滿足的關係如下 sigmoid函式曲線如下 sigmoid啟用函式，符合實際，當輸入值很小時，輸出接近於0 當輸入值很大時，輸出值接近於1。但sigmoid啟用函式有較大的缺點，是主要有兩點 1 容易引起梯度消失。當輸入值很小或很大時，梯度趨向於0，相當於函式曲線左右兩端函式導數趨向於0。...