1、特徵縮放：
適用問題：假設我們有兩個特徵（以二維舉例）x1,x2。x1取值範圍和x2取值範圍相差過大，導致輪廓圖是乙個十分狹長的橢圓，這樣在梯度下降的過程中可能要花費很多步才能到達區域性最優解。
對於這樣的問題，我們可以通過特徵縮放的方法來改變我們特徵的取值範圍，公式：特徵的值/特徵的最大值-最小值，這樣把不同特徵縮放到了[-1,1]區間，使得輪廓圖是乙個圓形，這樣梯度下降所花費的時間往往會減少。當然我們不需要一定要縮放到[0,1]區間，只要特徵之間取值範圍相差不是很大即可，輪廓圖可以近似乙個圓即可。
2、均值歸一化：假設特徵x1取值為x，我們可以用：x=(x-u)/特徵x1的最大值-最小值，來代替x這個取值，其中u是訓練集中x1特徵的平均值。均值歸一化的目的同樣是使特徵之間的取值範圍相差不會過大。
一般來講取值範圍在[-1/3,1/3]~[-3,3]以外的特徵就需要我們考慮特徵縮放或者均值歸一化了。
我認為特徵縮放的思想和knn演算法中用到的歸一化特徵值的思想相近。
機器學習之梯度下降法 梯度下降法分析
梯度下降法的基本思想是函式沿著其梯度方向增加最快，反之，沿著其梯度反方向減小最快。在前面的線性回歸和邏輯回歸中，都採用了梯度下降法來求解。梯度下降的迭代公式為 j j j j 在回歸演算法的實驗中，梯度下降的步長 為0.01，當時也指出了該步長是通過多次時間找到的，且換一組資料後，演算法可能不收斂。...
機器學習 梯度下降法
梯度下降法,一般用來求解線性回歸方程,我的理解是根據一組形如 特徵1,特徵2.結果 的資料來找到這些對應的特徵和結果之間的聯絡 例如,我們利用一組 銷量的資料判斷乙個物品的銷量和 之間的關係 我們要求的線性回歸方程可以表示為 銷量 引數 實質上其實就是找到對應的 引數 而當影響乙個結果的特徵不只有乙...
機器學習 梯度下降法
1 梯度下降法的邏輯思路 的取值影響獲得最優解的速度 取值不合適，甚至得不到最優解 是梯度下降法的乙個超引數 一般需要調參找到最適合的 太小，減慢收斂學習速度 太大，導致不收斂 2 梯度下降法的問題 3 其它1 具體實現 模擬損失函式 y x 2.5 2 1 資料集特徵值 plot x np.lin...