線性回歸其實就是尋找一條直線擬合資料點，使得損失函式最小。直線的表示式為：
\[y_=\omega_x_+\omega_x_+\dots+\omega_x_+\dots+b\]
損失函式的表示式為：
\[j=\frac\sum_^(y_-y_)^\]
如上圖所示，只要自變數$x$沿著負梯度的方向變化，就可以到達函式的最小值了，反之，如果沿著正梯度方向變化，就可以到達函式的最大值。
我們要求解$j$函式的最小值，那麼就要求出每個$\omega$的梯度和$b$的梯度，由於梯度太大，可能會導致自變數沿著負梯度方向變化時，$j$的值出現**，而不是一直變小，所以在梯度的前面乘上乙個很小的係數$\alpha$。
由以上可以總結出$\omega$和$b$的更新公式：
\begin
\omega_^& =\omega_-\alpha\nabla j(\omega_) \\
b^ & =b-\alpha\nabla j(b)
\end
求梯度：
\begin\label
\nabla j(\omega_)=\frac}=\sum_(y_-y_})x_
\end
同理，$b$也很容易求得,根據公式\ref。為了防止以後**的發生
\[\displaystyle+0.001}\]
數學建模方法大全
類別 類別 2 模型名稱 關鍵點 備註 參考書目 複雜系統 庫存模型 排隊模型 可靠系統 差分方程模型 動力系統類 酵母菌增長模型 平衡點 平衡點的分類 地高辛衰減模型 戰爭模型 總量一定時，對單量的分配 競爭物種模型 不穩定平衡 對初始值敏感 比例性模型 釣魚比賽模型 幾何相似性 身高 體重與靈活...
數學建模方法 01 模糊數學
現象的劃分 現象具體現象 確定性現象 水加溫到100攝氏度就沸騰 隨機現象 擲骰子，其中一面向上 模糊現象 今天天氣很熱 處理現實物件的數學模型可分為三大類 模型模型介紹 確定性數學模型 背景物件具有確定性或固定性 隨機性數學模型 背景物件的發生具有或然性或隨機性 模糊性數學模型 背景物件及其關係均...
數學建模常用解題方法
演算法型別 資料處理 補全 剔除 選取資料 分析資料 分析走勢等 關聯與分析 原因 為什麼？推測 兩者關係 提出方案 分類與判別 分類 分級 判定 隸屬 劃分 異常值 識別等 評價與決策 評價 評判 提出方案 選擇方案 擇優 後果 與預報 未來形勢 走勢 變化 效果 未來 影響 優化與控制 排程 合...