歡迎一起來參與leetcode刷題專案
持續更新
在機器學習中，我們的目標就是在驗證集上有更好的效果，當然了也不能過擬合
m in
∑i=1
m(f(
xi)−
yi)2
min\sum_^m (f(x_i) - y_i)^2
mini=1
∑m(
f(xi
)−y
i)2
m in
−[yi
∗log(
p(xi
)+(1
−yi)
∗log(
1−p(
xi)]
min -[y_i * \log(p(x_i) + (1-y_i) * \log(1 - p(x_i)]
min−[y
i∗log(p
(xi
)+(1
−yi
)∗log(1−
p(xi
)]以線性模型為例子，在做線性回歸的時候我們使用平方損失函式，在做分類任務的時候，使用交叉熵損失函式（logistic regression）。有何不同之處？？？
以二分為例子，模型輸出乙個二維向量(f(
xi)1
,f(x
i)2)
(f(x_i)_1,f(x_i)_2)
(f(xi
)1,
f(xi
)2
)，向量的每個元素表示了對這個類別的**概率。假設真實結果為（1，0）
平方損失函式就是
( f(
xi)1
−1)2
+(f(
xi)2
−0)2
(f(x_i)_1 - 1)^2 + (f(x_i)_2 - 0)^2
(f(xi
)1−
1)2+
(f(x
i)2
−0)
2交叉損失函式
− [1
∗log(
f(xi
)1)+
(1−1
)∗
log(1
−f(x
i)2]
=−[1
∗log(
f(xi
)1)]
-[1 * \log(f(x_i)_1) + (1-1) * \log(1 - f(x_i)_2] = -[1 * \log(f(x_i)_1)]
−[1∗
log(f(
xi)
1)+
(1−1
)∗log(1−
f(xi
)2
]=−[
1∗log(f(
xi)
1)]
直觀上看平方損失函式對每乙個輸出結果都十分看重，而交叉損失函式只對正確分類的結果看重。可以看到平方損失函式考慮的實際內容比交叉損失函式多。除了讓正確的分類盡可能大以外平方損失函式還會讓錯誤的分類變得更平均，其實後者是不需要的。所以在做分類任務的時候，logistic regression選擇了交叉熵損失函式，不過在回歸問題上就要考慮平方損失函式了。
聯結主義時序分類
adaboost的目標函式就是指數損失函式，在給定n
nn個樣本的情況下，優化：
l (y
,f(x
))=1
nexp[
−yif
(xi)
]l(y, f(x)) = \frac \exp
l(y,f(
x))=
n1exp[−
yif
(xi
)]序列學習問題
刷題的github: github鏈結.
機器學習中的目標函式 損失函式 代價函式
1 損失函式 代價函式 損失函式 loss function 是用來估量模型的 值f x 與真實值y的不一致程度，它是乙個非負實值函式,通常使用l y,f x 來表示，損失函式越小，模型的魯棒性就越好。損失函式和代價函式是同乙個東西，目標函式是乙個與它們相關但更廣的概念。上面三個圖的函式依次為,我們...
機器學習 目標檢測
如何理解一張？根據後續任務的需要，有三個主要層次 一 分類 二 檢測 三 分割 檢測模型 兩階段 2 stage 1 r cnn regions with cnn features r cnn系列的開山之作 2 fast r cnn 共享卷積運算 3 faster r cnn 兩階段模型的深度化 單...
深入理解機器學習中的 目標函式，損失函式和代價函式
參考知乎回答整理 主要參考 answer 209358209 基本概念 損失函式 計算的是乙個樣本的誤差 代價函式 是整個訓練集上所有樣本誤差的平均 目標函式 代價函式 正則化項 實際應用 上面三個圖的曲線函式依次為f1 x f2 x f3 x 我們想用這三個函式分別來擬合真實值y。我們給定x，這三...