通常來講，在訓練乙個模型的時候需要用乙個收斂的條件來約束演算法迭代的輪次，比如在logisitc regression中會用相鄰兩次迭代的損失函式差小於10e-5來控制迭代次數，為了保險同時還有限定乙個最大迭代次數。
乙個模型的收斂所需要的迭代次數依賴於資料本身和演算法引數。 線性回歸裡的梯度下降演算法其收斂需要的迭代次數和learning rate的關係非常密切，怎樣選擇乙個合適引數使得能收斂的更快？ 我使用的辦法如下。
從這個圖就可以看出使用的辦法了。
圖中縱軸是損失函式在每次迭代完後的大小，橫軸是迭代的次數， 在初次接觸乙個模型進行迭代訓練的時候，畫這麼一張圖能給人乙個很直觀的引數選擇方法。
從圖中可以看出，當learning rate選擇範圍在1,2,3,4的時候收斂的速度都是相當之快的，而當learningrate 選擇0.1的時候收斂就明顯變慢了，而當learning rate選擇10的時候這條咖啡色的曲線就開始出現了振盪，這說明這個learning rate過大導致模型不收斂了。
廣義線性模型和線性回歸
首先術語廣義線性模型 glm 通常是指給定連續和 或分類 變數的連續響應變數的常規線性回歸模型。它包括多元線性回歸，以及anova和ancova 僅具有固定效果 形式為 yi n x 2 其中xi包含已知的協變數，包含要估計的係數。這些模型使用最小二乘和加權最小二乘擬合。術語廣義線性模型 glim或...
回歸的線性模型（2）
其實越往後面越發現自己之前認識的片面性，但是對我這種記性不好的人來說還是要寫一點東西總結一下，以便之後翻查，審視自己當初的思路有沒有錯誤。不當之處還請各位及時批評。前文已經看到，採用最大似然方法對目標變數的分布進行點估計時，容易產生過擬合現象，通過引入分布引數的先驗概率來引入正則化項，來限制模型複雜...
線性回歸（模型的評估
前面兩篇文章筆者介紹了如何建模線性回歸 包括多變數與多項式回歸 如何通過sklearn搭建模型並求解。但是對於乙個求解出來的模型我們應該怎樣來對其進行評估呢？換句話說，你這個模型到底怎麼樣？以最開始的房價 為例，現在假設你求解得到了圖中所示的兩個模型h1 x h 1 x h1 x 與h 2 x h ...