a. 什麼是嶺回歸和lasso回歸？為什麼要用嶺回歸和lasso回歸？嶺回歸選參的一般原則是什麼。
對ols進行範數1正則化叫lasso回歸。
對ols進行範數2正則化叫嶺回歸。
進行嶺回歸和lasso回歸的主要目的：
1.解決病態矩陣的過擬合和欠擬合問題。
2.消除多重共線性造成的行列式趨近於0，從而引起的大係數問題。
選參遵循原則如下：
（1）在嶺回歸中設計矩陣x已經中心化和標準化了，這樣可以直接比較標準化嶺回歸係數的大小。可以剔除掉標準化嶺回歸係數比較穩定且絕對值很小的自變數。
（2）隨著lambda的增加，回歸係數穩定，震動趨於零的自變數也可以剔除。
（3）開始（lambda=0）十分大，但是隨著lambda的增加，迅速向0靠近的回歸係數不重要。可以考慮剔除。
（4）開始（lambda=0）十分小，但是隨著lambda的增加，回歸係數絕對值迅速增速很快，說明該係數重要。
（5）如果兩個係數已知不穩定，但從形狀上看，總體上來說和是穩定的，這兩個係數可以合併成乙個新的係數。也可以選擇不合併，不影響**效果。
（6）一直處在波動狀態的係數可以刪除 。
（7）不穩定的，尤其逐步發散的，一直波動的引數都可以剔除。
嶺回歸與lasso回歸
from sklearn.linear model import ridge,linearregression linearregression 是普通線性回歸 from pandas import dataframe from sklearn import datasets import nump...
嶺回歸 lasso回歸
嶺回歸 ridge regression 和lasso least absolute shrinkage and selection operator 都是ols的改進，知乎上有關於三者異同的詳細討論 關於lasso 這裡記錄一下最近的學習心得。嶺回歸的含義 嶺回歸的權值計算公式中有單位方陣i，就像...
R 嶺回歸 lasso回歸
1.嶺回歸 嶺回歸 ridge regression,tikhonov regularization 實際上算是最小二乘法 ols 的改良版。最小二乘法中使用的是無偏估計回歸，而嶺回歸使用的是 有偏估計回歸 通過損失部分資訊 減低精度得到的回歸係數，但是這樣跟符合實際情況。因為ols有四個基本假設 ...