從大學到現在，課堂上學的和自學的數學其實不算少了，可是在研究的過程中總是發現需要補充新的數學知識。learning和vision都是很多種數學的交匯場。看著不同的理論體系的交匯，對於乙個researcher來說，往往是非常exciting的enjoyable的事情。不過，這也代表著要充分了解這個領域並且取得有意義的進展是很艱苦的。記得在兩年前的一次blog裡面，提到過和learning有關的數學。今天看來，我對於數學在這個領域的作用有了新的思考。
對於learning的研究， linear algebra (線性代數) 和 statistics (統計學) 是最重要和不可缺少的。這代表了machine learning中最主流的兩大類方法的基礎。一種是以研究函式和變換為重點的代數方法，比如dimension reduction，feature extraction，kernel等，一種是以研究統計模型和樣本分佈為重點的統計方法，比如graphical model, information theoretical models等。它們側重雖有不同，但是常常是共同使用的，對於代數方法，往往需要統計上的解釋，對於統計模型，其具體計算則需要代數的幫助。以代數和統計為出發點，繼續往深處走，我們會發現需要更多的數學。
calculus (微積分)，只是數學分析體系的基礎。其基礎性作用不言而喻。learning研究的大部分問題是在連續的度量空間進行的，無論代數還是統計，在研究優化問題的時候，對乙個對映的微分或者梯度的分析總是不可避免。而在統計學中，marginalization和積分更是密不可分——不過，以解析形式把積分匯出來的情況則不多見。
partial differential equation (偏微分方程)，這主要用於描述動態過程，或者仿動態過程。這個學科在vision中用得比learning多，主要用於描述連續場的運動或者擴散過程。比如level set, optical flow都是這方面的典型例子。
functional analysis (泛函分析)，通俗地，可以理解為微積分從有限維空間到無限維空間的拓展——當然了，它實際上遠不止於此。在這個地方，函式以及其所作用的物件之間存在的對偶關係扮演了非常重要的角色。learning發展至今，也在向無限維延伸——從研究有限維向量的問題到以無限維的函式為研究物件。kernel learning 和 gaussian process 是其中典型的例子——其中的核心概念都是kernel。很多做learning的人把kernel簡單理解為kernel trick的運用，這就把kernel的意義嚴重弱化了。在泛函裡面，kernel (inner product) 是建立整個博大的代數體系的根本，從metric, transform到spectrum都根源於此。
measure theory (測度理論)，這是和實分析關係非常密切的學科。但是測度理論並不限於此。從某種意義上說，real analysis可以從lebesgue measure（勒貝格測度）推演，不過其實還有很多別的測度體系——概率本身就是一種測度。測度理論對於learning的意義是根本的，現代統計學整個就是建立在測度理論的基礎之上——雖然初級的概率論教科書一般不這樣引入。在看一些統計方面的文章的時候，你可能會發現，它們會把統計的公式改用測度來表達，這樣做有兩個好處：所有的推導和結論不用分別給連續分布和離散分布各自寫一遍了，這兩種東西都可以用同一的測度形式表達：連續分布的積分基於 lebesgue測度，離散分布的求和基於計數測度，而且還能推廣到那種既不連續又不離散的分布中去（這種東西不是數學家的遊戲，而是已經在實用的東西，在dirchlet process或者pitman-yor process裡面會經常看到)。而且，即使是連續積分，如果不是在歐氏空間進行，而是在更一般的拓撲空間（比如微分流形或者變換群），那麼傳統的黎曼積分（就是大學一年級在微積分課學的那種）就不work了，你可能需要它們的一些推廣，比如haar measure或者lebesgue-stieltjes積分。
graph theory (圖論)，圖，由於它在表述各種關係的強大能力以及優雅的理論，高效的演算法，越來越受到learning領域的歡迎。經典圖論，在 learning中的乙個最重要應用就是graphical models了，它被成功運用於分析統計網路的結構和規劃統計推斷的流程。graphical model所取得的成功，圖論可謂功不可沒。在vision裡面，maxflow (graphcut)演算法在影象分割，stereo還有各種能量優化中也廣受應用。另外乙個重要的圖論分支就是algebraic graph theory (代數圖論)，主要運用於圖的譜分析，著名的應用包括normalized cut和spectral clustering。近年來在semi-supervised learning中受到特別關注。
機器學習中的數學
二 第二課時 1 極限 通俗語言 函式f在 x 0 處的極限是l 數學符號 lim f x l 無窮如何比較大小呢？如x趨近0的時候，sin x 和 tan x 同樣都趨近0，哪個趨近0的速度更快呢？我們可以採用求商的極限來求解 lim sin x tan x lim cos x 1 所以是同樣級別...
小白機器學習中的數學
從平面線性擬合談起 我們知道，線性回歸是最簡單的一種資料擬合，說的直白點，我們舉平面上的例子來看，平面上有若干個樣本點，我們的目標就是去畫一條直線去擬合這些樣本點。如果你對擬合這兩個字還不是吃得很透，我們下面慢慢來介紹。高斯雜訊是如何和最小二乘估計聯絡起來的？也就是換句話說，我們如何從概率的視角去審...
機器學習 數學 機器學習涉及的數學知識
簡單總結 機器學習涉及的數學知識有 線性代數，概率論和統計學，多變數微積分，演算法和複雜優化，以及其他等。原文 在過去幾個月裡，有幾個人聯絡過我，說他們渴望進軍資料科學領域，使用機器學習 ml 技術探索統計規律，並打造資料驅動的完美產品。但是，據我觀察，一些人缺乏必要的數學直覺和框架，無法獲得有用的...