以經典的**房價為例,
假設樣本為(x,y
ix, y_i
x,yi
),其中x是多維變數(x=(
x1,x
2...
xn)x = (x_1, x_2...x_n)
x=(x1
,x2
...x
n)),屬性包括房子大小,使用年限等,y是對應該樣本的房價。
那麼我們就可以得到乙個**房價的假設模型,
h θ(
x)=θ
txh_\theta(x) = \theta^t x
hθ(x)
=θtx
只要我們求出了引數θ
\theta
θ,就完成了模型的求解,可以用求得的模型來**新的樣本。
note:這裡可以看出,這裡求出的模型是乙個連續函式,即對應樣本的輸入,輸出會有無限可能(可能為負數,可能為0,也可能為正數,既可能為整數,也可能為浮點數)
同樣以經典的**房價為例,
假設樣本為(x,y
ix, y_i
x,yi
),其中x是多維變數(x=(
x1,x
2...
xn)x = (x_1, x_2...x_n)
x=(x1
,x2
...x
n)),屬性包括房子大小,使用年限等,不同的是,這裡的y換成了房價是否超過2萬美元,超過為1,不超過則為0。
於是線性回歸中的假設模型不能適用到這裡了,需要進行適當的修改。
h θ(
x)=s
igmo
id(θ
tx)h_\theta(x) = sigmoid(\theta^t x)
hθ(x)
=sig
moid
(θtx
)這裡使用了sigmoid函式對原模型進行修改(在一些教程裡,也有把sigmoid函式叫做邏輯函式的說法),把原模型的輸出規範到了(0, 1)之間。
note: 這裡可以看出,在使用邏輯回歸的時候,所**樣本值的輸出範圍應該是有限的(如0, 1)離散值
吳恩達的《machine learning》中談到了這點,線性回歸模型的表達能力有限,如果直接使用線性回歸,並且使用線性回歸的平方和作為成本函式,那麼成本函式會變成如下(「non-convex」):
有太多的區域性最優解,如果使用邏輯回歸並且使用對數損失函式作為成本函式,成本函式才會易於求解(「convex」):
線性回歸和邏輯回歸不同的地方有很多,但在我看在,最基本的不同是模型的表示不同,因此導致了所解決問題的能力不同,進而導致了許多的差異。
對這些差異總結如下:
對線性回歸、邏輯回歸、各種回歸的概念學習
機器學習演算法總結–線性回歸和邏輯回歸
線性回歸與邏輯回歸
stackoverflow, what is the difference between linear regression and logistic regression?
線性回歸與邏輯回歸
cost functionj 12m i 1m h x i y i hypothesish x tx 梯度下降求解 為了最小化j j j 1m i 1m h x i y i x i j 每一次迭代更新 j j 1m i 1m h x i y i x i j 正規方程求解 最小二乘法 xtx 1x t...
邏輯回歸與線性回歸的區別與聯絡
邏輯回歸與線性回歸都屬於廣義線性回歸模型,其區別與聯絡從以下幾個方面比較 分類與回歸 回歸模型就是 乙個連續變數 如降水量,等 在分類問題中,屬於某類的概率,可以看成回歸問題。這可以說是使用回歸演算法的分類方法。輸出 直接使用線性回歸的輸出作為概率是有問題的,因為其值有可能小於0或者大於1,這是不符...
邏輯回歸與線性回歸的區別與聯絡
邏輯回歸與線性回歸都屬於廣義線性回歸模型,其區別與聯絡從以下幾個方面比較 分類與回歸 回歸模型就是 乙個連續變數 如降水量,等 在分類問題中,屬於某類的概率,可以看成回歸問題。這可以說是使用回歸演算法的分類方法。輸出 直接使用線性回歸的輸出作為概率是有問題的,因為其值有可能小於0或者大於1,這是不符...