在實際應用中對於具有複雜形式的函式我們常常希望用較為簡單的函式形式表示他，而多項式就是這種簡單的形式。比如對於指數函式、三角函式，我們可以使用多項式來逼近。
為了逼近（或者說是仿造）目標函式曲線f(x)，首先選擇乙個切入點(x0,f(f0))，然後讓此處的增減性相同,即一階導數相同。再使其凹凸性相同（二階導數相同）。然後讓更高階的特性相同。。。
因此，整體思路就是讓仿造的函式g(x)與f(x)的初始點和從一階到高階的導數都相等。然而，在實際操作中並不能無限階求導，只需要按需（或經驗）選擇階數。
假設我們只需要算到n階，多項式函式為：
\(g(x)=a_0+a_1(x-x_0)+a_2(x-x_0)^2+……+a_n(x-x_0)^n\)
由初始點相等: \(g(x_0)=f(x_0)\),得\(a_0=f(x_0)\)
由n階導數相等: \(g^n(x_0)=a_n n!=f^n(x_0)\),得\(a_n=\)
因此求得多項式:
\]求泰勒展開式需要求g(x)的各項係數,計算比較複雜,但是一旦求出展開式之後就可以很方便地使用多項式計算了, 相當於一勞永逸.
誤差項,即餘項: r(x)=f(x)-g(x)=\(\frac(x_0)}(x-x_0)^+\frac(x_0)}(x-x_0)^+\cdots +\frac(x_0)}(x-x_0)^\)
利用柯西中值定理,可以求出\(r(x)=\frac(\xi)}(x-x_0)^\)
牛頓法原理:
將 \(f(x)\) 在 \(x_n\) 處二階 taylor 展開, 有:
\]我們的目的是選擇合適的 \(\delta x\) 最小化目標函式 \(f(x_n+\delta x)\) . 求導令導數為0得到:
\[=f'(x_n)+f''(x_n)\delta x=0 \\
\longrightarrow \delta x=- \\
x_=x_n+\delta x=x_n-[f''(x_n)]^f'(x_n)
\]其中的二階項 \(f''(x_n)\) 就是 hessian 矩陣.
用基尼指數代替概率分布的資訊熵
這樣我們可以進行在一定精度內的逼近, 但是這裡存在收斂區間的問題。只有 0 < x <2 時這個泰勒級式才會收斂. 因此需要我們對待求平方根的數字做預處理, 如果大於2, 就要把它轉化為[0,2)區間中去, 讓x不斷累除4(右移兩位運算)直到x落在收斂區間. 通過泰勒級式計算逼近值後再做修正(假如預處理時右移了2t次,那麼修正時左移t次).
當然,實際應用中更常用牛頓迭代法求開方, 每次迭代時的**值g與x/g取平均作為新**值, 如果g與x/g當中的乙個小於確切的平方根,那麼另乙個必然大於確切的平方根, 選擇平均值可以進一步逼近。
在 svm 中常用的徑向基核函式 \(k(x,y)=\exp(-)\), 證明其可以作為核函式, 即可以寫成 \(k(x,y)=\phi^t(x)\cdot\phi(y)\) 的形式.
證明:\(\|x-y\|^2=x^tx+y^ty-2x^ty\)
\(k(x,y)=\exp(-)=\exp(-)\exp()\exp(-)\)
對\(\exp()\)進行泰勒展開,在\(x^ty=0\)處:
\[\exp()=\sum_^}=\sum_^}}\cdot }} \\
=\phi^t(x)\cdot\phi(y) \\
k(x,y)=\exp(-)\exp()\exp(-) \\
=\exp(-)\phi^t(x)\cdot\phi(y) \exp(-) \\
=\phi^t(x)\cdot\phi(y)
\]非線性核通常使用高斯核,高斯核可以對映到無窮維,解釋:
指數項 \(e^\) 可以通過泰勒展開對映到無窮多項
\]相應的高斯核也是指數形式：
= 1 + \left(- \frac - x_ \right|| ^ } } \right) + \frac - x_ \right|| ^ } })^ } + ... + \frac - x_ \right|| ^ } })^ } + ... + \frac - x_ \right|| ^ } })^ }
\]將泰勒展開式帶入高斯核，我們得到了乙個無窮維度的對映。
參考
↩︎↩︎
↩︎
學習筆記 泰勒展開
用冪級數 也就是 oi 中的 多項式 來近似地表示乙個函式.假設我們需要表示出的函式為 g x 最後得到的多項式為 f x 容易得到,若 f x 的任意階導數都與 g x 的對應階導數相等,那麼 f x leftrightarrow g x 所以我們在 g x 的定義域內取乙個數 x 0 然後列出方...
泰勒展開式的推導
泰勒展開式真是個好東西。可以很方便的把乙個函式展開成冪級數。即 當 x相當小的時候。這種計算方式簡單又相當準確。可以從心裡感悟到數學美。此外，二階近似又比線性近似提高了乙個級別的精確度。可以從心靈裡感悟到近似函式典線努力的往原本的函式典線靠近。可想而知，再提高端數，就更精確了。當把階數拓展到n階 很...
泰勒展開式的推導
泰勒展開式的推導 導數是函式影象在某一點處的斜率，也就是縱座標變化率和橫座標變化率的比值。微分是指函式影象在某一點處的切線在橫座標取得 x以後，縱座標取得的增量。函式相加，導數也是相加和的積分等 於積分的和 泰勒展開式真是個好東西。可以很方便的把乙個函式展開成冪級數。即 從函式的線性近似 當把階數拓...