為了求得引數θ，也可以不用迭代的方法（比如梯度下降法對同一批資料一直迭代），可以採用標準方程法一次性就算出了θ，而且還不用feature scaling（如果feature不多的話，比如一萬以下，用這種方法最好）。
標準方程法介紹：
（1）這裡面，x的第一列是人為新增的，為了方便運算的，都置為1，後面才是真正的特徵。
（2）下面是樣本對應的輸出：
（3）設擬合函式為： h(x) = θ0 * x0 + θ1 * x1 .... + θn * xn ( 其中x0 = 1)
（4）採用均方誤差定好代價函式
最終結果 ：
證明：
要使得j最小，則有j對θ的導數=0，則
證完。補充：
若不可逆，則
1）可能是有兩列是線性相關的，那麼就刪除乙個特徵；
2）可能是特徵值過多，則刪除一些特徵值。
標準方程法 嶺回歸
待續 import numpy as np from numpy import genfromtxt import matplotlib.pyplot as plt 讀入資料 data genfromtxt r longley.csv delimiter print data 切分資料 x data...
追趕法解方程
演算法 詳情見追趕法公式 這個部落格只是用來儲存。package 計算方法大作業 public class zhuiganfa double b double c double b2 儲存貝塔 double y 儲存y double f 獲取所有的貝塔 for i 1 i 3 i else 獲取所有...
機器學習 正規方程
梯度下降法計算引數最優解，過程是對代價函式的每個引數求偏導，通過迭代演算法一步步更新，直到收斂到全域性最小值，從而得到最優引數。正規方程是一次性求得最優解。思想 對於乙個簡單函式，對引數求導，將其值置為0，就得到引數的值。像下面這樣 現實例子有很多引數，我們要對這些引數都求偏導數，得到各個引數的最優...