基礎概念（極限、可微與可導、全導數與偏導數）：只要學微積分，就必須要明白的概念，否則後面什麼都無法繼續學習。
函式求導：求導是梯度的基礎，而梯度是 ai 演算法的基礎，因此求導非常重要！必須要搞清楚概念，並學會常見函式的導函式求法。
鏈式法則：符合函式求導法則，反向傳播演算法的理論基礎。
泰勒公式和費馬引理：這兩者也是梯度下降法的基礎組成，重要程度與求導相同。
微分方程及其求解：很重要，是部分機器學習模型求解的必備知識。
拉格朗日乘子法和對偶學習：理解 svm/svr 的理論基礎。svm/svr 作為機器學習模型的常用「中堅力量」，其重要程度不言而喻。
簡單統計量（個數、最大值、最小值、中位數、均值、方差）及其物理意義：概率統計的概念基礎。
隨機和抽樣：隨機——概率統計成立的基礎；抽樣——統計的方法。
頻率和概率，以及概率的基本概念：搞清什麼是概率，它和頻率的區別與聯絡。
幾種常見的概率分布及公式（平均分布、二項分布、正態分佈……）
引數估計：只知道大致的分布，不知道具體的引數怎麼辦？沒關係，我們可以根據估計一下。其中最重要的是極大似然估計。
中心極限定理：如果不知道某事物的概率分布該怎麼辦?沒關係，就當它符合正態分佈好了。可是為什麼能這樣近似呢?因為我們有中心極限定理呀。
假設驗證：到底假設得對不對呢？我們根據樣本來驗證一下。
貝葉斯公式：太重要啦！是它使得我們可以根據先驗概率來**後驗概率。而樸素貝葉斯公式自己就是樸素貝葉斯模型本身啊。
回歸分析：想想那麼多名字裡有「回歸」的模型吧!
狀態轉移網路：概率鏈、隱馬爾可夫模型和條件隨機場。
向量與標量：用向量和標量表示事物特徵的差別是什麼？
向量空間，向量性質及向量的幾何意義：所謂高維低維指的是什麼？同乙個向量能否存在於不同的向量空間裡？向量的移動、轉向和拉伸是如何做到的？
線性函式：什麼是線性函式，它具備怎樣的性質？
矩陣和矩陣運算：矩陣出現的目的是什麼？掌握矩陣的基礎運算（與常數/向量/矩陣的加法和乘法）。
特殊矩陣（方陣、實對稱矩陣、（半）正定/負定矩陣等）及其性質：根據不同的性質，我們可以劃分出哪些特殊矩陣，它們都有哪些特殊性質？
特徵值和特徵向量：定義、性質，以及特徵值求解。
用矩陣求解微分方程。
正交：什麼是正交？函式的正交，向量的正交，和超平面的正交分別是如何形式化表達的，又具備怎樣的物理意義。
凸函式與極值：搞清楚什麼是凸函式，凸函式與極值的關係，極值和最值的關係等。
注意：國內不同教科書對於「凸」的定義存在不一致的情況，有些書上把其他書上說的「凸函式」叫做「凹函式」。
直觀而言，我們一向說的「凸函式」是那類一維自變數情況下看起來像個「u」，二維自變數下像個碗的那種函式。
最優化：什麼是最優化問題？什麼是最優化方法？無限制條件和有限制條件下的最優化方法基本原理分別是什麼？
梯度下降法：最基礎最常用的最優化方法，以及其他若干最優化方法的基礎，務必全面掌握。
其他最優化演算法：了解其他一些常用最優化方法，例如，牛頓法、共軛梯度法、線性搜尋演算法、模擬退火演算法、遺傳演算法等。
機器學習所需的數學基礎
數學 l1 regularization 這篇文章解釋了l1 regularization為什麼會產生稀疏解，很不錯 拉格朗日乘子法和kkt條件 對偶問題 傅利葉變換 拉普拉斯變換和z變換的意義 特徵值 特徵向量的意義 似然性 最大似然估計 無約束最優化 從線搜尋講到牛頓法 擬牛頓法 bfgs lb...
AI 數學基礎 概率分布，冪，對數
物理理解 冪次描述的是指數型的變化。事物在成長階段發生的變化往往是指數型的 冪次的分布 參考 指數型組織 比較常見的冪次就是 加速度對數描述的是冪次的反向 對數的定義 如果 1 特別地，我們稱以10為底的對數叫做常用對數 common logarithm 並記為lg。2 稱以無理數e e 2.718...
1 0 機器學習所需的數學
從大學到現在，課堂上學的和自學的數學其實不算少了，可是在研究的過程中總是發現需要補充新的數學知識。learning和vision都是很多種數學的交匯場。看著不同的理論體系的交匯，對於乙個researcher來說，往往是非常exciting的enjoyable的事情。不過，這也代表著要充分了解這個領域...