網格搜尋
網格搜尋與交叉驗證
方法 交叉驗證相關的屬性
2.1 執行緒回歸簡介
機器學習(模型訓練)的過程:
**過程:
按照自變數個數分類:
多個自變數: 多元回歸
線性回歸模型與目標關係:
屬性:
線性回歸的損失:
優化:
正規方程:
梯度下降
梯度下降公式: θi=
上一次θ
i−αj
(θ)θ
i\theta_i = 上一次\theta_i - \alpha\frac
θi=上一
次θi
−αθi
j(θ
)- α: 學習率(步長))
- 太小就需要很多步
- 太大就會錯失最優解
- 梯度乘以負號的原因: 梯度是上公升最快方向, 我們求解最下值, 要找下降最快的方向, 所以要加負號.
梯度下降與正規方程對比
選擇:大規模資料:
隨機梯度下降演算法（sg）
小批量梯度下降演算法（mini-bantch）
隨機平均梯度下降演算法（sag）
會記錄每次梯度, 每次梯度下降的時候, 隨機選擇乙個樣本, 計算梯度, 帶入的梯度下降公式時候, 使用是前面所有梯度平均值.
總結:（1**）fg方法由於它每輪更新都要使用全體資料集，故花費的時間成本最多，記憶體儲存最大。**
（2）sag在訓練初期表現不佳，優化速度較慢。這是因為我們常將初始梯度設為0，而sag每輪梯度更新都結合了上一輪梯度值。
（3）綜合考慮迭代次數和執行時間，sg表現效能都很好，能在訓練初期快速擺脫初始梯度值，快速將平均損失函式降到很低。但要注意，在使用sg方法時要慎重選擇步長，否則容易錯過最優解。
（4）mini-batch結合了sg的「膽大」和fg的「心細」，從6幅影象來看，它的表現也正好居於sg和fg二者之間。在目前的機器學習領域，mini-batch是使用最多的梯度下降演算法，正是因為它避開了fg運算效率低成本大和sg收斂效果不穩定的缺點。
引數:
屬性:
回歸模型評估:
引數:
屬性:
過擬合正則化:
l2正則化:
l1正則化
維災難[了解]:
lasso回歸(l1正則化):
elastic net 彈性網路
early stopping
引數:正則化力度與係數之間的關係:
正則化力度越大, 模型係數就越小
正則化力度越小, 模型係數就越大
嶺回歸與線性回歸的區別:
嶺回歸也是一種線性回歸
嶺回歸使用l2正則化 和 隨機平均梯度下降法
sgdregressor:
ridge
學習目標反饋
知道超引數搜尋過程
應用gridsearchcv實現演算法引數的調優
# 4. 機器學習(模型訓練)
# 4.1 建立knn評估器
estimator = kneighborsclassifier(
)# 4.2 建立網格搜尋與交叉驗證的評估器
param_grid =
estimator = gridsearchcv(estimator, param_grid=param_grid, cv=
5)
應用linearregression或sgdregressor實現回歸**
# 4. 機器學習(正規方程)
estimator = linearregression(
)estimator.fit(x_train, y_train)
estimator = sgdregressor(
)estimator.fit(x_train, y_train)
知道過擬合與欠擬合的原因以及解決方法
欠擬合
知道嶺回歸的原理及與線性回歸的不同之處
線性回歸的不同之處:
應用ridge實現回歸**
# 4. 機器學習(嶺回歸: l2正則化項 + 隨機平均梯度下降)
estimator = ridge(
)estimator.fit(x_train, y_train)
# 4. 機器學習(嶺回歸: l2正則化項 + 隨機平均梯度下降)
# estimator = ridge()
# estimator.fit(x_train, y_train)
# 儲存訓練好的模型
# joblib.dump(estimator, 'test.pkl')
estimator = joblib.load(
'test.pkl'
)
機器學習 線性回歸
可以說基本上是機器學習中最簡單的模型了，但是實際上其地位很重要 計算簡單 效果不錯，在很多其他演算法中也可以看到用lr作為一部分 先來看乙個小例子，給乙個 線性回歸是什麼 的概念。圖來自 2 假設有乙個房屋銷售的資料如下 面積 m 2 銷售價錢 萬元 123 250 150 320 87 160 1...
機器學習（線性回歸）
在機器學習中，回歸 分類和標註共同構成了監督學習技術。監督學習 supervised learning 是機器學習在工業界應用最廣的乙個領域分支。在學術界中也是研究最多的領域之一。大家都知道的資料探勘十大經典演算法中，監督學習技術佔據6席。方法 自變數 特徵 因變數 結果 關係 回歸演算法是試圖採用...
機器學習 線性回歸
line fitter linearregression 建立模型 line fitter.fit temperature,sales 傳入引數 sales predict line fitter.predict temperature 模型 直線 直線上會有loss 計算loss時 要使用平方距離...