**股價－過去股價=>明日
自動駕駛－周圍影像=>方向盤角度
推薦系統－商品=>購買機率
找到乙個function set
收集訓練資料，定義loss fun，挑出最好的fun
gradient decent
隨機選初始值
計算l對w微分:if negative=>increase w
線性方程，原先把不同x, y都用同乙個w&b，訓練到一定程度l就將不下來。但若使用同乙個fun，將所有組合相加在用一函式過濾（ex:sigmod)可以更好的配適方程。但還可以在更好，像是考慮更多因素，但這依賴於domain knowledge，所以通成我們會將能考慮的因素加進fun裡，但容易使l**。更好的方式是back to step 2:在loss fun加入懲罰項+λ(wi)**2也就是讓輸入對輸出不要太敏感，fun越平滑。
bty懲罰不考慮bais，因為他只控制上下移動，與平滑無關
現下的問題就變成要讓fun多平滑？
veriance大＝>overfitting
bias大＝>underfitting
what to do?
not recommend：用訓練資料找出乙個err最低的模型，在真正測試資料不一定會是最好！建議測試資料切出驗證，在訓練資料上err=0.5但測試》0.5。不建議回頭訓練，因為測試資料的bias被你考慮進去了。。。
bty, 若擔心訓練資料分壞了，可以做n-fold。
沿梯度的方向，加上負號（反方向）
tips:
小心調learn rate
學習率引數根據不同引數有所不同
分母根號內梯度越大步伐越小，但gt梯度越大步伐越大：反差的效果（相較之前的g）
最好的步伐應該是=｜first derivative｜/ second derivative
stochastic gradient descent
讓training更快
每次取乙個xn，只算某個的loss fun
（原本是算完total才updata)
feature scaling
feature分布尺度不均，做scaling。當feature引數在座標上呈現正圓形時，不管在哪一點都是朝最低點走。
機器學習數學基礎 1 回歸 梯度下降
本系列文章將總結一些機器學習中應用到的數學基礎，想要學好機器學習，首先得去理解其中的數學意義，不一定要到能夠輕鬆自如的推導中間的公式，不過至少要認識這些公式，不然一些相關的 就看不懂，這個系列的文章將著重於機器學習的數學描述這個部分。回歸在數學上就是通過乙個點集，用一條曲線去擬合這些點，如果這條曲線...
1 回歸 一元線性回歸 代價函式 梯度下降法
1 回歸是達爾文表弟發現的，就是說人類總體有乙個平均身高。那個高個子生的孩子都個高，矮的孩子生的矮。但是他們的下一代大部分都往平均身高長，也就是說特別高的人，他們的孩子會很高，但是往往比他們自己矮。特別矮的人他們生的孩子會矮一些，但是會比自己的父母高，他們都有這種趨勢。表弟管這個叫做回歸。2 一元線...
線性回歸 梯度下降筆記
含乙個 時 h x 含乙個 theta 時 h theta theta x 含乙個 時 h xc f h x y 2c f theta h theta x y 2 c f h x y 2 令 mi nc約等 於0 令minc約等於0 令minc約 等於0則gr ad c 則grad c theta ...