線性可分與線性不可分
現實任務中,原始樣本空間內並不存在乙個能正確劃分兩類樣本的超平面。
可將樣本從原始空間影射到乙個更高維的特徵空間,使得樣本在這個特徵空間內線性可分。例如在上圖中,若將原始的二維空間對映到乙個合適的三維空間,這樣就能找到乙個合適的劃分超平面,幸運的是如果原始空間是有限維度,即屬性數有限,那麼一定存在乙個高維特徵空間使得樣本可分。
由於資料點都在二維平面上,所以此時分隔超平面就只是一條直線。但是,如果所給的資料集是三維的,那麼此時用來分隔資料的就是乙個平面。顯而易見,更高維的情況可以依此類推。如果資料集是1024維的,那麼就需要乙個1023維的某某物件來對資料進行分隔。這個1023維的某某物件到底應該叫什麼?n-1維呢?該物件被稱為超平面(hyperplane),也就是分類的決策邊界。分布在超平面一側的所有資料都屬於某個類別,而分布在另一側的所有資料則屬於另乙個類別。
參考周志華《機器學習》
參考《機器學習實戰》
線性可分 線性不可分
很多機器學習分類演算法,比如支援向量機 svm 的介紹都說了假設資料要是線性可分。如果資料不是線性可分的,我們就必須要採用一些特殊的方法,比如svm的核技巧把資料轉換到更高的維度上,在那個高維空間資料更可能是線性可分的 cover定理 理論上一定能在更高的維度把資料線性可分。線性可分就是說可以用乙個...
理解線性可分和線性不可分與機器學習什麼叫線性模型
首先大家不要直觀理解線性可分就一定要是一條直線,線性可分指的是可以用乙個線性函式將兩類樣本分開 注意這裡是線性函式 比如在二維空間中的直線,三位空間中的平面以及高維空間中的線性函式。這裡指的可分是沒有一絲誤差的分開,線性不可分指的就是部分樣本用線性分類面 這個看清楚 劃分時會產生分類錯誤的現象。這裡...
機器學習筆記5 線性不可分問題
線性不可分簡單來說就是你乙個資料集不可以通過乙個線性分類器 直線 平面 來實現分類。這樣子的資料集在實際應用中是很常見的,例如 人臉影象 文字文件等。下面的幾個資料都是線性不可分的 我們不可以使用乙個直線或者乙個直面把上面影象中的兩類資料很好的劃分。這就是線性不可分。現在流行的解決線性不可分的方法就...