在之前介紹的分類問題中，所涉及的分類的模型都是線性的，在非線性變換這一節中，我們將模型延伸到非線性的情況下來進行資料的分類。
我們看到上面的例子，在左圖中，圓圈和紅叉的資料無法用一條直線將其分成兩類，那麼這這個例子中，我們其實可以用乙個大圓圈將資料分類，所以現在我們考慮假設，該假設hsep(x)是乙個過原點的圓圈，這啟示我們可以用系統化的方法結合之前我們學習的線性分類的方法，來解決更加廣泛的問題。
還是拿上面的這個圓圈的φ假設為例，h(x)=sign(0.6· 1 + (-1) ·x1^2 + (-1) ·x2^2)。我們令w0=0.6,w1=-1,w2=-1；而z0=1,z1=x1^2,z2=x2^2。通過這種方式我們就可以將之前的h(x)變化成sign(wt * z),這個熟悉的形式就是我們之前學習的線性分類的形式，我們唯一做的不同的事情就是將之前的x的空間轉換成新的z的空間。我們把x空間的每乙個點轉換到z空間的每乙個點的過程稱作特徵轉換(feature transform)。這裡值得一提的是，x空間裡用二次假設可分的情況，可以得到在z空間的 線性可分，但是反過來則不可以，因為在z空間裡的直線不見得在x空間裡都是正圓形，還有可能是雙曲線之類的二次曲線，所以在z空間使得資料線性可分的直線對應x空間的特定的曲線。
我們可以考慮乙個更加廣泛的二次假設，這個假設是使得在z空間裡讓資料線性可分的假設，那其中的轉換函式如下圖定義。
我們可以總結這個非線性轉換的步驟，即先通過φ(x)將x空間的點轉換成z空間的點，而在z空間上得到乙個線性的假設，再恢復到原來的x空間中得到乙個二次的假設（這個反運算的過程不一定存在）。
其實這個特徵轉換是非常重要的，比如在手寫數字分類的案例中，我們將原始的畫素的特徵資料轉換到更加具體的、具有物理意義的特徵上去，進而進行分類的求解。這個例子其實就是在新的特徵空間中做線性分類，而對於原始的畫素空間裡其實是乙個非線性的假設。
現在我們考慮乙個很一般化(general)的非線性變換，將剛才的二次變成q次的多項式轉換。
我們用d來表示在z空間的維度，我們需要得到d維的不同的組合方法，複雜度是o(q^d)。
這個數字代表我們需要這樣的計算複雜度來計算φ(x)變換、計算引數w（因為一些訓練演算法的時間複雜度和資料的維度是有關的），還有儲存w的話也需要付出代價。
我們知道這個z空間的模型的引數是1+d個，這個相當於是z空間的vc維，所以當q變大的時候，vc維也變大了。
我們再回到機器學習的乙個基本都是平衡折中問題上，如果d(q)大的時候，我們可以讓ein很小，但是這會導致ein和eout差別很大；當d(q)小的時候，可以使得ein和eout差別小，但是又不能保證ein很小。
現在我們把多項式的變換做乙個遞迴式的定義，先定義0次的變換，再定義1次的變換，其中包括之前的0次變換和所有的一次式，以此類推，q次的變換包含之前的q-1次的變換和所有的q次式。
上面的定義中，因為每個變換都包含了前面的變換，即前面的變換是後面變換的乙個特例。從假設集合的角度，複雜的變換對應的假設集合是包含相對簡單的變換對應的假設集合。
有了之前複雜度不同的假設集合的包含關係，可以得到以下的關係，即vc維隨著假設集合的數量越累越多而變得越來越大，而ein隨著這些假設集合中的選擇越來越多而呈下降的趨勢。
這個關係如下圖所示，這告訴我們乙個高維度的變換因為付出了很大的模型複雜度，所以會使得eout和ein偏離較遠。那麼，在未來的模型選擇中，可以首先選擇線性的模型，因為線性模型簡單、有效、安全並且工作效果好。
github主頁(
csdn部落格(
單變數非線性變換
新增特徵的平方或者立方可以改進線性回歸模型，其他的變換通常也對變換某些特徵有用，特別是應用數學函式，如log，exp或sin。雖然基於樹的模型只關注特徵的順序，但線性模型和神經網路依賴於每個特徵的尺度和分布。如果特徵與目標之間存在非線性關係，那麼建模就變得非常困難，特別是對於回歸問題。log和exp...
單變數非線性變換
import mglearn import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.model selection import train test split from sklear...
林軒田 12 非線性變換
toc 對於非線性的資料分類，如果我們使用線性模型，就會使得ein很大，分得不好。現在我們考慮如何用二次方程 圓的方式 來進行separate 我們可以使用半徑平方為0.6的圓可以將它分開 這裡我們進行非線性的變換，實現座標系的變換。從x空間變到z空間。在x系裡面圓圈可分的情況在z系裡面變得線性可分...