學習鞍點，複習上次任務學習的全域性最優和區域性最優
梯度下降
學習交叉驗證
學習歸一化
學習回歸模型評價指標
做的匆忙，我後面日子還要繼續改
bias 偏差 ：模型的期望（或平均）**和正確值之間的差別；
variance 方差 ：模型之間的多個擬合**之間的偏離程度。
過擬合對應的是bias很小，variance很大
欠擬合對應的是bias很大，viraiance很小
動量（momentum），動量法不僅使用當前的梯度，同時還利用之前的梯度提供的資訊。
mini-batch是部分資料參與引數的更新，sgd是乙個資料參與引數的更新，都是梯度下降演算法。
資料的不同，batch是全部的資料，mini-batch是部分資料，sgd梯度下降是單個資料
如果訓練樣本的大小，比如m
⩽200
m\leqslant200
m⩽20
0時，選擇batch梯度下降法
如果訓練樣本的大小比較大，選擇mini-batch梯度下降法
n_epochs = 50
t0, t1 = 5, 50
def learning_schedule(t):
return t0 / (t + t1)
theta = np.random.randn(2,1)
for epoch in range(n_epochs):
for i in range(m):
random_index = np.random.randint(m)
xi = x_b[random_index:random_index+1]
yi = y[random_index:random_index+1]
gradients = 2 * xi.t.dot(xi.dot(theta) - yi)
eta = learning_schedule(epoch * m + i)
theta = theta - eta * gradients
每個特徵的的量綱不一樣，如果不進行歸一化，會出現量綱大影響大，量綱小影響小。
有準確率，召回率、精準率、f1_score,auc。
機器學習筆記P1 李巨集毅2019
該部落格將介紹機器學習課程by李巨集毅的前兩個章節 概述和回歸。視屏鏈結1 introduction 視屏鏈結2 regression 該課程將要介紹的內容如下所示 從最左上角開始看 regression 回歸 輸出的目標是乙個數值。如 明天的pm2.5數值。接下來是classification 分...
《李巨集毅機器學習》task7
熵是用來衡量乙個系統混論程度的物理量，代表乙個系統中蘊含多少資訊量，資訊量越大表明乙個系統不確定性就越大，就存在越多的可能性。演算法支援模型 樹結構特徵選擇 連續值處理 缺失值處理 剪枝id3 分類多叉樹 資訊增益 不支援不支援 不支援c4.5 分類多叉樹 資訊增益比 支援支援 支援cart 分類 ...
李巨集毅機器學習課程總結 4
卷積神經網路是深度學習網路中的一種，被廣泛應用在影像處理中。其實對於影象處理方面的問題，使用全連線前饋網路也能實現近似的效果，但是cnn較全連線前饋網路更進一步簡化了神經網路的構架，是人們通過影象處理的特徵和總結出來的經驗進行簡化的，具體特徵是 有一些紋理比整張小得多，某些紋理並不需要看整張就能夠被...