機器學習 數學基礎

前言：適用本人，在學習中記錄要用的數學知識。

1.約束最優化問題求解：拉格朗日乘子法和kkt條件

2.何為二次型，二次型怎麼轉化為標準型及其意義，二次型的矩陣表示，通過正交線形變換將二次型變換為標準型（求該正交線性變換和對應的標準型）

3.正定矩陣，半正定矩陣

定義:

a是n階方陣，如果對任何非零向量x，都有xtax>0，其中xt 表示x的轉置，就稱a正定矩陣。

設a是實對稱矩陣。如果對任意的實非零列向量x有xtax≥0，就稱a為半正定矩陣。

正定矩陣的行列式恒為正；

實對稱矩陣a正定當且僅當a與單位矩陣合同；

兩個正定矩陣的和是正定矩陣；

正實數與正定矩陣的乘積是正定矩陣。

性質:半正定矩陣的行列式是非負的；

兩個半正定矩陣的和是半正定的；

非負實數與半正定矩陣的數乘矩陣是半正定的。

4.0範數，1範數，2範數，無窮範數

你是問向量範數還是矩陣範數？要更好的理解範數，就要從函式、幾何與矩陣的角度去理解，我盡量講的通俗一些。我們都知道，函式與幾何圖形往往是有對應的關係，這個很好想象，特別是在三維以下的空間內，函式是幾何影象的數學概括，而幾何影象是函式的高度形象化，比如乙個函式對應幾何空間上若干點組成的圖形。但當函式與幾何超出三維空間時，就難以獲得較好的想象，於是就有了對映的概念，對映表達的就是乙個集合通過某種關係轉為另外乙個集合。通常數學書是先說對映，然後再討論函式，這是因為函式是對映的乙個特例。為了更好的在數學上表達這種對映關係，（這裡特指線性關係）於是就引進了矩陣。這裡的矩陣就是表徵上述空間對映的線性關係。而通過向量來表示上述對映中所說的這個集合，而我們通常所說的基，就是這個集合的最一般關係。於是，我們可以這樣理解，乙個集合（向量），通過一種對映關係（矩陣），得到另外乙個幾何（另外乙個向量）。那麼向量的範數，就是表示這個原有集合的大小。而矩陣的範數，就是表示這個變化過程的大小的乙個度量。

機器學習 數學基礎

scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...

機器學習數學基礎 （一）

1.1分類 離散值 1.2回歸分析 連續值 資料集分為 訓練集和測試集 訓練集包含n個特徵 feature 和標籤 label 測試集只有特徵沒有標籤。任務就是根據測試集 標籤。2.1聚類 2.2關聯規則 訓練集只有特徵沒有標籤。測試集需要根據已有特徵 標籤。3.1q learning 3.2時間差...

機器學習所需的數學基礎

數學 l1 regularization 這篇文章解釋了l1 regularization為什麼會產生稀疏解，很不錯 拉格朗日乘子法和kkt條件 對偶問題 傅利葉變換 拉普拉斯變換和z變換的意義 特徵值 特徵向量的意義 似然性 最大似然估計 無約束最優化 從線搜尋講到牛頓法 擬牛頓法 bfgs lb...