理解線性可分和線性不可分與機器學習什麼叫線性模型

2021-10-02 07:39:01 字數 1119 閱讀 9081

首先大家不要直觀理解線性可分就一定要是一條直線,線性可分指的是可以用乙個線性函式將兩類樣本分開(注意這裡是線性函式),比如在二維空間中的直線,三位空間中的平面以及高維空間中的線性函式。這裡指的可分是沒有一絲誤差的分開,線性不可分指的就是部分樣本用線性分類面(這個看清楚)劃分時會產生分類錯誤的現象。(這裡有點抽象大家得腦補)

並不是說線性模型就必須用直線去擬合的資料,這是乙個誤區,區分乙個模型是否為線性模型,主要是看乘法式子中自變數x前的係數w,如果乙個w只影響乙個x,那麼這個模型就是線性模型,還有一種廣義線性模型,例如邏輯回歸,決策邊界是一條直線或在高維是超平面。

這張圖的藍線假設是h=w

0+w1

∗xh=w_0+w1*x

h=w0​+

w1∗x

的乙個線性模型,紅色×代表樣本點,我們發現它並不能很好的擬合資料,需要一條曲線來適應我們的資料,比如乙個二次方的模型:h=w

0+w1

∗x+w

2∗x2

h=w_0+w_1*x+w2*x^2

h=w0​+

w1​∗

x+w2

∗x2,也就是黑線(明白人應該知道這裡只是對特徵x簡單的做了乙個多項式),我們可以看出x同時被w1,

w2w_1,w_2

w1​,w2

​影響,若想讓模型轉換為線性模型

可以設:x1=

x,x2

=x2x_1=x,x_2=x^2

x1​=x,

x2​=

x2,改變後的線性模型:h=w

0+w1

∗x1+

w2∗x

2h=w_0+w_1*x_1+w_2*x_2

h=w0​+

w1​∗

x1​+

w2​∗

x2​(乙個多項式回歸模型變為線性回歸模型例項)

希望鄙人的一番粗鄙見解能對各位對線性這個詞在不同領域能有好的領悟。

想變強嗎,該禿頭了 --海綿彭帆

線性可分與線性不可分

線性可分與線性不可分 現實任務中,原始樣本空間內並不存在乙個能正確劃分兩類樣本的超平面。可將樣本從原始空間影射到乙個更高維的特徵空間,使得樣本在這個特徵空間內線性可分。例如在上圖中,若將原始的二維空間對映到乙個合適的三維空間,這樣就能找到乙個合適的劃分超平面,幸運的是如果原始空間是有限維度,即屬性數...

線性可分 線性不可分

很多機器學習分類演算法,比如支援向量機 svm 的介紹都說了假設資料要是線性可分。如果資料不是線性可分的,我們就必須要採用一些特殊的方法,比如svm的核技巧把資料轉換到更高的維度上,在那個高維空間資料更可能是線性可分的 cover定理 理論上一定能在更高的維度把資料線性可分。線性可分就是說可以用乙個...

機器學習筆記5 線性不可分問題

線性不可分簡單來說就是你乙個資料集不可以通過乙個線性分類器 直線 平面 來實現分類。這樣子的資料集在實際應用中是很常見的,例如 人臉影象 文字文件等。下面的幾個資料都是線性不可分的 我們不可以使用乙個直線或者乙個直面把上面影象中的兩類資料很好的劃分。這就是線性不可分。現在流行的解決線性不可分的方法就...