最近越來越發現數學的重要性，幾乎所有的問題都抽象成為乙個複雜的模型，然後通過數學的技巧來進行轉化，得到乙個可以求解的數學問題。可見數學的重要性。
然後對於模式識別來說，數學更是解決問題的基礎。這裡我總結和羅列了一些數學基礎方法。也算是給自己做乙個總結。
應用：多數方程不存在求根公式，因此求精確根非常困難，甚至不可能，從而尋找方程的近似根就顯得特別重要。方法使用函式f(x)的taylor級數的前面幾項來尋找方程f(x) = 0的根。
牛頓迭代法是求方程根的重要方法之一，其最大優點是在方程f(x) = 0的單根附近具有平方收斂，而且該法還可以用來求方程的重根、復根。該方法廣泛應用於科學計算的計算機程式設計中。
具體方法：
設r是f(x) = 0的根，選取x0作為r初始近似值，過點(x0,f(x0))做曲線y = f(x)的切線l，l的方程為y = f(x0)+f』(x0)(x-x0)，求出l與x軸交點的橫座標 x1 = x0-f(x0)/f』(x0)，稱x1為r的一次近似值。過點(x1,f(x1))做曲線y = f(x)的切線，並求該切線與x軸交點的橫座標 x2 = x1-f(x1)/f』(x1)，稱x2為r的二次近似值。重複以上過程，得r的近似值序列，其中 ：
x(k+1)=x(k)－f(x(k))/f』(x(k))
稱為r的k+1次近似值，上式稱為牛頓迭代公式。解非線性方程f(x)=0的牛頓法是把非線性方程線性化的一種近似方法。把f(x)在x0點附近展開成taylor級數 f(x) = f(x0)+(x－x0)f『(x0)+(x－x0)^2*f』(x0)/2! +… 取其線性部分，作為非線性方程f(x) = 0的近似方程，即taylor展開的前兩項，則有f(x0)+f』(x0)(x－x0)=f(x)=0 。設f『(x0)≠0，則其解為x1=x0－f(x0)/f』(x0) 。這樣，得到牛頓法的乙個迭代序列：x(k+1)=x(k)－f(x(k))/f』(x(k))。
應用：在單變數的實值函式的情況，梯度就是導數。若實值函式為線性函式，梯度就是該直線的斜率。
在二元函式的情形，設函式z=f(x,y)在平面區域d內具有一階連續偏導數，則f(x,y)在對應點p(x,y)∈d上的梯度為乙個二維向量：
在工程應用中，為了方便起見，有時將梯度的幅度簡稱為梯度。
在影象處理與分析中，為了降低影象的運算量，常用絕對值代替平方根運算，即：
應用：在某些約束條件下，使函式f(x)取到極值的自變數x0的值。根據約束條件下的不同，可以分為如下幾種情況：(1)乙個等式約束方程的情況；(2)多個等式約束方程的情況；(3)多個不等式約束方程的情況。這裡僅介紹第(1)種情況。
若約束條件可以表示可以表示為g(x)=0的形式，那麼我們可按如下方法求出f(x)的極值。
首先，構造lagrange函式：
然後，對lagrange乘數關於x求偏導數，並令其值等於零：
這樣就把約束條件下的最優化問題轉化為無約束條件的方程求解問題。
通過求解上面方程，就能得到λ的值及相應的極值點x0(通常情況下，λ∂g/∂x不等於0)。最後把x0代入到f(x)函式，就能得到約束條件下f(·)的極值。
其中 sw為類內離散度矩陣, sb為類間離散度矩陣。
採用langrage乘數法對j(w)求極值，以得到最優的權向量w*。
求解過程：
所以最終有：
大家共勉~~祝我早日開學
模式識別 統計模式識別（6）
上一節，我們討論了最小錯誤率分類器，接下來這一節我們將討論最小風險bayes分類器。1.問題提出 1.最小錯誤率bayes決策的最小錯誤率 概率意義上最優，在工程上是否是最優?2.錯誤分類的結果 代價或風險會是怎樣的？考慮癌細胞影象識別的例子 3.出錯的可能情況 正常細胞 1錯分為異常 2，異常細胞...
模式識別 統計模式識別（7）
上兩節我們介紹了最小錯誤率和最小風險bayes分類器，接下來談談最小最大決策。1.問題提出 假設c 2 現在我們假定一種情況，先驗概率未知或者不確定的前提，在這種前提下，絕對意義的最小風險不存在，這種情況下我們怎麼求bayes分類器。2.求解思路 雖然p 1 和p 2 未知，但我們可以假設他們確定，...
機器學習，模式識別，資料探勘常用鏈結
google 學術搜尋 超全計算機視覺資源彙總 聯合參考文獻 資料查詢 arxiv.org e print archive springer sciencedirect ieee xplore 全國圖書館參考諮詢聯盟 acmjmlr icml nips sigkdd icml cikm aaai i...