1.1分類**(離散值)
1.2回歸分析(連續值)
資料集分為：訓練集和測試集
訓練集包含n個特徵(feature)和標籤(label)
測試集只有特徵沒有標籤。
任務就是根據測試集**標籤。
2.1聚類
2.2關聯規則
訓練集只有特徵沒有標籤。
測試集需要根據已有特徵**標籤。
3.1q-learning
3.2時間差學習
f(x,w)=wx
w：權重
常見的損失函式
一般來說，我們在進行機器學習任務時，使用的每乙個演算法都有乙個目標函式，演算法便是對這個目標函式進行優化，特別是在分類或者回歸任務中，便是使用損失函式（loss function）作為其目標函式，又稱為代價函式(cost function)。 損失函式是用來評價模型的**值ŷ =f(x)與真實值y的不一致程度，它是乙個非負實值函式。通常使用l(y,f(x))來表示，損失函式越小，模型的效能就越好。 設總有n個樣本的樣本集為(x,y)=(xi,yi)，yi,i∈[1,n]為樣本i的真實值，yi^=f(xi),i∈[1,n]為樣本i的**值，f為分類或者回歸函式。 那麼總的損失函式為：
凸函式,是數學函式的一類特徵。凸函式就是乙個定義在某個向量空間的凸子集c（區間）上的實值函式。
凸函式是乙個定義在某個向量空間的凸子集c（區間）上的實值函式f，而且對於凸子集c中任意兩個向量, f((x1+x2)/2)>=(f(x1)+f(x2))/2,則f(x)是定義在凸子集c中的凸函式（該定義與凸規劃中凸函式的定義是一致的，下凸）。
1.1條件概率
1.2.全概率公式
1.3.貝葉斯(bayes)公式
常見的概率分布
2.1兩點分布
2.2兩項分布
2.3泊松分布
2.4均勻分布
2.5指數分布
2.6正太分布
3.1期望
離散型隨機變數的一切可能的取值 與對應的概率 乘積之和稱為該離散型隨機變數的數學期望[2] (若該求和絕對收斂），記為 。它是簡單算術平均的一種推廣，類似加權平均。
離散型：
連續型：
3.2方差
離散型：
連續型：
3.3協方差
評估兩個特徵間的相關性。
協方差的意義
我們可以定義乙個表示x, y 相互關係的數字特徵，也就是協方差
cov(x, y) = e(x-ex)(y-ey)。
當 cov(x, y)>0時，表明 x與y 正相關；
當 cov(x, y)<0時，表明x與y負相關；
當 cov(x, y)=0時，表明x與y不相關。
這就是協方差的意義。
機器學習 數學基礎
scalar 標量 sunspot number dalton minimum exponentiation 指數化 資訊理論 對數函式 log2 sigmod 啟用函式 relu 啟用函式 vector 向量 vector space 向量空間 歐幾里德空間 笛卡爾座標系 極座標系 norm of...
機器學習 數學基礎
前言 適用本人，在學習中記錄要用的數學知識。1.約束最優化問題求解 拉格朗日乘子法和kkt條件 2.何為二次型，二次型怎麼轉化為標準型及其意義，二次型的矩陣表示，通過正交線形變換將二次型變換為標準型 求該正交線性變換和對應的標準型 3.正定矩陣，半正定矩陣 定義 a是n階方陣，如果對任何非零向量x，...
機器學習所需的數學基礎
數學 l1 regularization 這篇文章解釋了l1 regularization為什麼會產生稀疏解，很不錯 拉格朗日乘子法和kkt條件 對偶問題 傅利葉變換 拉普拉斯變換和z變換的意義 特徵值 特徵向量的意義 似然性 最大似然估計 無約束最優化 從線搜尋講到牛頓法 擬牛頓法 bfgs lb...