邏輯回歸(牛頓法)
指數分不族
廣義線性模型;將邏輯回歸和最小二乘模型聯絡在一起。
極大似然估計模型
(1)初始化thta，引數可初始化為0；
(2) delta=f(thta0)/f』(thta0)
thta1=thta0-delta=thta0-f(thta0)/f』(thta0);
牛頓方法的一次迭代：
thta(t+1)=thta(t)-delta=thta(t)-f(thta(t))/f』(thta(t));
thta(t+1)=thta(t)-delta=thta(t)-l』(thta(t))/l』』(thta(t));
使l(thta)最大化，l』(thta)=0；
找到乙個點，使其導數為0；找到區域性最優解；
牛頓法是乙個收斂速度非常快的方法。（二次收斂）：誤差會變成之前的平方。
機器學習 cs229學習筆記1
all is based on the stanford open course cs229.lecture 11.regularization 正規化 防止過擬合 保留所有的引數 貝葉斯學習方法 增加先驗概率，常用為高斯分布n 0,使演算法更傾向於選擇更小的引數 體現在最大似然估計上就是增加懲罰專...
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...
吳恩達機器學習感悟
吳恩達機器學習，斯坦福2014筆記 由8.2 神經元和大腦想到的 神經重連實驗，比如眼睛連到聽覺皮層，則聽覺皮層學會了看 眼睛連到觸覺皮層，則觸覺皮層學會了看 舌頭上加攝像頭關聯的電極陣列，則負責舌頭感知的皮層學會了看。這寫neuron re wiring實驗，給出的結論是大腦各區使用的是同一種演算...