回歸：假設現在有一些資料點，我們用一條直線對這些點進行擬合（這條直線稱為最佳擬合直線），這個擬合的過程就叫做回歸。我們想要的函式應該是: 能接受所有的輸入然後**出類別。
梯度下降法：這裡需要一點點向量方面的數學基礎
向量 = 值 + 方向
梯度 = 向量
梯度 = 梯度值 + 梯度方向
梯度下降法的思想：要找到某函式的最大值，最好的方法是沿著該函式的梯度方向探尋。如果梯度記為 ▽ ，則函式 f(x, y) 的梯度由下式表示：
梯度下降如下圖：
上圖展示的，梯度上公升演算法到達每個點後都會重新估計移動的方向。從 p0 開始，計算完該點的梯度，函式就根據梯度移動到下一點 p1。在 p1 點，梯度再次被重新計算，並沿著新的梯度方向移動到 p2 。如此迴圈迭代，直到滿足停止條件。迭代過程中，梯度運算元總是保證我們能選取到最佳的移動方向。
台大李巨集毅機器學習 學習筆記03
在這個作業中，我們將用梯度下降方法 pm2.5的值 hw1要求 1 要求python3.5 2 只能用 1 numpy 2 scipy 3 pandas 3 請用梯度下降手寫線性回歸 4 最好的公共簡單基線 5 對於想載入模型而並不想執行整個訓練過程的人 請上傳訓練 並命名成 train.py 只要...
李巨集毅機器學習 學習筆記
function set就是model 機器學習3大步驟 1.定義模型 function 集合 2.指定模型 function 好壞的評價指標 3.通過演算法選擇到最佳的模型 function alphago下棋模型抽象為棋局向下一步的分類問題 減少擁有label的data用量的方法 1.semi ...
李巨集毅機器學習attack model 學習筆記
loss函式及限制條件 無目標攻擊 l 負的 y 與y true 交叉熵 輸入的x 使y 與y true越遠越好 有目標攻擊 輸入的x 使y 與y true越遠越好且y 與y false越近越好 限制條件 x與x0距離需要小於乙個值，不被發現，否則攻擊就無意義 攻擊的目標是x在乙個小的變化內使模型失...