回歸問題和分類問題是深度學習裡面需要分清楚的兩種情況，需要根據不同的情況制定不同的演算法，完成不同的任務。
兩者最本質的區別是回歸問題代表連續的擬合曲線**值，而分類問題則是將輸入的幾個值分為幾個離散的類。
例如：線性回歸處理的是回歸問題：
e xp
ect(
y)=w
x+
bexpect(y)=wx+b
expect
(y)=
wx+b
loss=1n∑
i=1n
(exp
ect(
yi)−
yi)2
\frac\sum_^n(expect(y_i)-y_i)^2
n1∑i=
1n(
expe
ct(y
i)−
yi)
2通過不斷的調整w和b的值，利用梯度下降原理，尋找到最小的loss值，最優擬合線性模型。
梯度：(af
ax,a
fay)
(\frac,\frac)
(axaf
,aya
f)又可以稱為grad f(x,y)
梯度下降：和下山一樣，通過各個位置的梯度，尋找最為陡峭的梯度，沿著梯度的負方向走一步，這一步的長度被稱為學習率μ
\muμ。然後繼續求得下乙個位置的梯度，並更新之前的w和b的值。
w =w
−μαl
ossa
ww=w-\mu\frac
w=w−μa
wαlo
ssb=b
−μαl
ossa
bb=b-\mu\frac
b=b−μa
bαlo
ss通過這種方法，找到loss最小值，求得最優解的w，b。
logistic回歸模型和線性回歸模型形式差不多，都是y=wx+b，其中x可以是乙個多維特徵。區別是logistic回歸會對y作用乙個sigmoid函式。
sigmoid ：f(x
)=11
+e−x
f(x)=\frac}
f(x)=1
+e−x
1這個函式的值域為(0,1)，通過這個函式作用之後，所有的y值都會到(0,1)這個區間內，這個值可以被理解為概率。比如對於二分類問題，這個值越小，就屬於第一類，越大屬於第二類。
l os
s=−(
ylog
(exp
ect(
y))+
(1−y
)log
(1−e
xpec
t(y)
))
loss=-(ylog(expect(y))+(1-y)log(1-expect(y)))
loss=−
(ylo
g(ex
pect
(y))
+(1−
y)lo
g(1−
expe
ct(y
)))
因此這兩個模型的區別就在前者的值可以是連續的，而後者我們希望它最終屬於某個類，是離散的。
參考文章：
logistic分類（logistic回歸 LR）
幾乎所有的教材都是從logistic分類開始的，因為logistic分類實在太經典，而且是神經網路的基本組成部分，每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類，顧名思義，邏輯分類，是一種二分類法，能將資料分成0和1兩類。logistic分類的流程比較簡單...
線性回歸 Logistic回歸 Softmax回歸
什麼是回歸？給定一些資料，x的值來 y的值，通常地，y的值是連續的就是回歸問題，y的值是離散的就叫分類問題。高爾頓的發現，身高的例子就是回歸的典型模型。回歸分為線性回歸 linear regression 和logistic 回歸。線性回歸可以對樣本是線性的，也可以對樣本是非線性的，只要對引數是線性...
logistic回歸 logistic回歸
logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性，這是乙個分類模型而不是乙個回歸模型！它的基本思想是利用一條直線將平面上的點分為兩個部分，即兩個類別，要解決的問題就是如何擬合出這條直線，這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容，要通過三...