需要配合第一周的gradient decent intuition 食用：
用直線去擬合函式，有兩個變數，斜率和位移，這就導致了方差函式（斜率，位移）的影象是個三維的曲面，當然方差越小擬合度越高，就是個好的猜測。
如何得到這樣的擬合用的是梯度下降，高數中的知識（想象成你要下山），向下降最快的方向移動，移動的步伐大小稱為學習程度。learning rate，越高就會移動越快。
要注意移動是同步的，也就是等我知道xy分別移動的方向和距離後，我再改變我現在的位置。而不是我先得到x方向移動距離，然後我就移動了，之後我再現有的位置上估計y方向。
learning rate 記為a，那麼a太小收斂的慢，太大可能導致無法收斂。另外由於梯度是隨著曲面的陡緩而改變的，所以乙個固定的a也可以使函式收斂。
注意a一般取值是正的，所以改變是x:=x-a*x方向的梯度。梯度也就是df/dx(此處應該是偏導數符號，我找不到，所以說明一下)。
由於線性的函式曲面是單獨的凹函式也就是沒有凸的趨勢，簡而言之就是個坑的形狀，沒有山的形狀。所以最終會全域性收斂而不是區域性。區域性全的區別就是：區域性是很多個坑，有大有小，你最後收斂到哪個坑和你的初始位置選擇有關。全域性就是無論你在**，最後都能找到那個最小的點，因為整個函式就是乙個坑。
題目是查著字典做的，所以我應該沒有理解錯的。
機器學習學習筆記 day2
周志華 機器學習 學習筆記 最近開始學習機器學習，參考書籍西瓜書，做點筆記。第二章 模型評估與選擇 錯誤率 分類錯誤的樣本數佔樣本總數的比例，e a m。精度 分類正確的樣本數佔樣本總數的比例，精確度 1 錯誤率。過擬合 訓練樣本學的太好，導致泛化效能下降。欠擬合 訓練樣本學的不太好。測試集與訓練集...
機器學習學習筆記（2） 線性回歸
線性回歸演算法據說是機器學習中的hello world，相對簡單，機器學習的具體演算法主要有三步 1 為假設函式設定引數，通過假設函式畫出一條直線，然後根據輸入的點得到 值。2 將測試值帶入損失函式，計算出乙個損失值。關於損失函式的定義，以後再討論 3 通過得到的損失值，利用梯度下降等優化方法，不斷...
機器學習筆記（2）tensorflow學習
參考資料 單隱層前饋網路結構 問題描述 天氣氣溫，當輸入連續三小時的氣溫時，第四個小時的氣溫。資料 訓練集為20 24小時氣溫資料，測試集為10 24小時資料。網路結構為 3 7 1,即三個輸入神經元，七個隱層神經元，乙個輸出神經元。環境 python3.6.5和tensorflow1.2.1，im...