一. 什麼是機器學習
概率模型
神經網路
...都是為了擬合輸入與輸出之間的關係
「all models are wrong, but some are useful.」 --- george e.p.box二. 機器學習的應用
人工智慧 智慧型系統、計算神經學、機器學習等都是人工智慧的分支
模式識別 訊號、影象、聲音等找到pattern，較早的學科
機器學習
資料探勘 在資料庫和機器學習之間發展
統計學習 機器學習的一部分，和統計學相關，機器學習的主流方法
深度學習 神經網路擬合複雜關係，機器學習的分支
三. 機器學習的範疇
監督學習
無監督學習
半監督學習
增強學習
四. 函式與資料泛化
函式現實資料
資料泛化
過擬合：隨著模型複雜度增加（神經網路層數、決策樹層數、多項式指數等）模型對訓練資料解釋完美，但對測試資料解釋不好
如何解決過擬合：
約束，把複雜度加懲罰項
n次交叉驗證
五. 線性代數
向量向量空間
模 norm
l-1 norm : σi |xi|
l-p norm: ( σi |xi|p )1/p
矩陣 matrix
矩陣相乘的物理意義：將右邊矩陣中的每一列列向量變換到左邊矩陣中每一行行向量為基所表示的空間中去
矩陣是在原有歐幾里得空間上的線性變換
張量 tensor
行列式特徵值與特徵向量
奇異值分解svd
向量的導數
凸函式六. 概率與統計
概率概率公理
條件概率
獨立性隨機變數
聯合概率分布
概率密度函式pdf (probability density function)
一些常見概率分布
二項式分布 (單變數分布，擲硬幣)
多項式分布 (多變數分布，擲骰子)
gamma 分布
beta 分布
beta 分布是觀察一系列二項分布，但每個二項分布的 n, p 都是未知的情況下，成功率 p 的分布。其中 $\alpha$ 與成功事件數有關，$\beta$ 與失敗事件數有關
泊松分布
正態分佈 (高斯分布)
對數正態分佈
指數分布
應用數學與機器學習基礎
線性代數的知識 1 標量 令x屬於 r 表示一條線的斜率，小寫斜體表示，會表明他屬於是哪種型別 2 向量 s 指定x1，x3 和x6,表示為xs，x s 表示x 中除x1，x3，x6 外所有元素構成的向量。3 矩陣 矩陣值表示式的索引 f a i j 表示函式f 作用在a 上輸出的矩陣的第i 行第j...
機器學習的數學概念
1 概率描述了已知引數時的隨機變數的輸出結果 似然則用來描述已知隨機變數輸出結果時，未知引數的可能取值。涉及到似然函式的許多應用中，更方便的是使用似然函式的自然對數形式，即 對數似然函式 2 最大似然估計是似然函式最初也是最自然的應用。上文已經提到，似然函式取得最大值表示相應的引數能夠使得統計模型最...
機器學習 數學基礎
scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...