最小
二乘和s
vm都是
大家熟悉
的演算法，
但是一般
講svm
或者最小
二乘時都
不會講到
它們之間
的聯絡，
但實際上
svm是
可以從最
小二乘中
推導出來
的。
關於最小二乘 為了
便於理解
後面的s
vm,這
裡還是先
簡單說一
下最小二
乘學習法
。以最容
易的ℓ2
約束的最
小二乘學
習法為例
：
首先定義誤差函式jl
s(θ)
=12∑
i=1n
(fθ(
xi)−
yi)2
其中「ls」是least square的首字母，我麼需要得到的是： θ^
ls=a
rgminθjl
s(θ)
如果使用線性模型： fθ
(x)=
∑j=1
bθiϕ
i(x)
=θtϕ
(x)
訓練樣本的平方差jl
s 就可以表示為： jl
s(θ)
=12∥
φθ−y
∥2這裡
y=(y
1,…,
yn)t
是訓練輸
出的n維
向量，φ
是下式定
義的n×
b階矩陣
，也稱設
計矩陣 φ=
⎛⎝⎜⎜
ϕ1(x
1)…⋮
ϕ1(x
n)…ϕ
b(x1
):ϕb
(xn)
⎞⎠⎟⎟
為了防止過擬合，我們通常對
θ 加以限制，這裡用ℓ2
約束： s.
t.∥θ
∥2≤r
最小二乘暫時就介紹到這裡，至於解法不是我們的重點所以略過。
hinge損失
對於二分類問題，y∈
,我們得
到θ^後
，測試模
式x所對
應的類別
y的**
值y^,
是由學習
後的輸出
結果符號
決定的。
y^=sign
(fθˆ
(x))
那麼定義0/
1損失為
： 12
(1−s
ign(
fθ(x
)y))
這個式子等價於： δ(
sign
(fθ(
x)≠y
)=,是訓練樣本相關的hinge損失達到最小，就是hinge損失最小化學習。因為有y∈
,所以y
2=1或
1y=y
,那麼ℓ
2損失就
可以不使
用殘差r
=fθ(
x)−y
,而使用
間隔m=
fθ(x
)y來表
示：r2=
(y−f
θ(x)
)2=y
2(1−
fθ(x
)/y)
2=(1
−fθ(
x)y)
2=(1
−m)2
hinge損
失，當m
≥1的時
候，與0
/1損失
相同，其
損失為0
，另一方
麵當m≤
1的時候
，其損失
為1−m
>0,
當其損失
為正的時
候，與m
相關的函
數有傾向
於負的趨
勢。hi
nge的
字面意思
是合頁，
如下圖就
是合葉，
hing
e損失就
像合葉打
開了135o,因
此而得來
。
失與m的
關係繪製
出來如下
來，hi
nge最
小化學習
表示為：
minθ=
∑i=1
nmax
接下來，對在
核模型中
引入截距
γ的下式
fθ,γ(x)
=∑j=
1nθj
k(x,
xj)+
γ
進行hinge最小化學習，加入使用了核矩陣ki
,j=k
(xi,
xj)的
一般化ℓ
2的正則
化項。
minθ,γ
[c∑i
=1nmax+1
2∑i,
j=1n
θiθj
k(xi
,xj)
]
這裡，為了與支援向量機分類器相對應，式中沒有使用
λ 作為正則化引數，而是使用了其倒數c=
1λ。
我們引入虛擬變數
ξ :
max=
minξξs
.t.ξ
≥1−m
,ξ≥0
那麼正則化hinge損失最小化學習問題轉換為：
minθ,γ
[c∑i
=1nξ
i+12
∑i,j
=1nθ
iθjk
(xi,
xj)]
約束條件為： ξi
≥1−f
θ,γ(
xi)y
i,ξi
≥0,∀
i=1,
…,n
我們再回憶一下標準的svm式子：
minω,γ
,ξ12
∥ω∥2
+c∑i
=1nξ
i,s.
tξi≥
1−(ω
tψ(x
i)+γ
)yi ξi
≥0,∀
i=1,
…,n 在上
面的優化
問題中，
設ω=∑
nj=1
θjψ(
xj)，
如果利用
條件ψ(
xi)t
ψ(xj
)=k(
xi,x
j)的話
，就可以
完成上面
2個式子
的轉換了
，也就是
說支援向
量機分類
器可以用
一般化ℓ
2約束的
hing
e損失最
小化學習
來解釋。
機器學習 最小二乘
大家可以隨意搜尋一下，相關的文章很多。長篇大論的不少，剛入門的朋友一看到那些公式可能就看不下去了。比如下面的解釋 毫無疑問，這樣的解釋是專業的，嚴謹的。事實上，這是深度學習聖經裡的解釋。我並沒有詆毀大師的意思，只是覺得用乙個具體的例子來說明，可能會讓讀者更加容易理解。小明是跑運輸的，跑1公里需要6塊...
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...