訓練集: x
: 表示輸入值 y:
表示輸出值 i:
表示訓練集中的樣本索引。
學習結果：函式 h:
x→y ，使得 h(
x)能夠很好的** y
由於歷史原因
h被稱作假設(hypothesis).
如果目標變數是連續的值，我們稱這個學習問題是乙個回歸問題。
如果目標變數是很少的幾個離散的值，我們稱它為分類問題。
形如關於
x 的線性函式： hθ
(x)=
θ0+θ
1x1+
θ2x2
θi是引數 hθ
(x) 在不造成困惑的前提下可以簡寫為 h(
x) x
0=1 這是截距項
上式可以寫為： h(
x)=∑
i=0n
θixi
=θtx
右邊把θ,
x 視為向量
n 是輸入的變數的個數（不算x0
） 我們通過給的訓練集，去學習選擇θ
訓練集：eg：房屋售價問題面積x
1 臥室數x2
**y2104
3400
1600
3330
2400
3369
⋮
⋮
⋮
我們訓練的目標就是要讓h(
x)盡量與
y 相符。
為了達到這個目標，我們需要乙個代價函式來評估。
普通最小二乘法（ols）,代價函式為： j(
θ)=1
2m∑i
=1m(
hθ(x
(i))
−y(i
))2其中
12是為了方便在求導的時候約掉係數。 i:
樣本索引 m:
樣本總數θj
:=θj−
α∂∂θ
jj(θ
) 當只有乙個樣本時，即m=
1 , 計算簡化得到： θj
:=θj+
α(y(
i)−h
θ(x(
i)))
x(i)
j j 為第j個引數
i為第i個訓練樣本
這個就是lms更新規則，它有幾個屬性似乎是自然的直觀的。更新誤差項是均衡的，誤差項越小相應引數的改變越小，誤差項越大，相應引數的改變越大
當很多樣本時，怎麼樣來更新迭代
θ 值
機器學習（2） 回歸演算法 回歸分析
在統計學中，回歸分析 regression analysis 指的是確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。回歸分析按照涉及的變數的多少，分為一元回歸和多元回歸分析 按照因變數的多少，可分為 簡單回歸 分析和多重回歸分析 按照 自變數和 因變數之間的關係型別，可分為 線性回歸 ...
《機器學習實戰》學習筆記 10 回歸 嶺回歸
機器學習實戰 學習筆記 10 回歸 嶺回歸 縮減方法可以去除不重要的引數 備註 同樣，為使用嶺回歸和縮減技術，首先需要對特徵做標準化處理，標準化使得每維度下的特徵有相同的重要性，具體 所有特徵減去各自的均值並除以方差 機器學習實戰 回歸 from numpy import def loaddatas...
《機器學習實戰》學習筆記 12 回歸 樹回歸
機器學習實戰 學習筆記 12 回歸 樹回歸 分類與回歸樹 classification and regression trees,cart 是由四人幫leo breiman,jerome friedman,richard olshen與charles stone於1984年提出，既可用於分類也可用於...