為了簡單起見，這裡我們假設**只取決於房屋狀況的兩個因素，即面積（平方公尺）和房齡（年）。接下來我們希望探索**與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係:
p ri
ce=w
area
⋅are
a+wa
ge⋅a
ge+b
\mathrm = w_} \cdot \mathrm + w_} \cdot \mathrm + b
price=
ware
a⋅a
rea+
wage
⋅ag
e+b資料集
我們通常收集一系列的真實資料，例如多棟房屋的真實售出**和它們對應的面積和房齡。我們希望在這個資料上面尋找模型引數來使模型的****與真實**的誤差最小。在機器學習術語裡，該資料集被稱為訓練資料集（training data set）或訓練集（training set），一棟房屋被稱為乙個樣本（sample），其真實售出**叫作標籤（label），用來**標籤的兩個因素叫作特徵（feature）。特徵用來表徵樣本的特點。
在模型訓練中，我們需要衡量****值與真實值之間的誤差。通常我們會選取乙個非負數作為誤差，且數值越小表示誤差越小。乙個常用的選擇是平方函式。 它在評估索引為 i
ii 的樣本誤差的表示式為
l (i
)(w,
b)=1
2(y^
(i)−
y(i)
)2
,l^(\mathbf, b) = \frac \left(\hat^ - y^\right)^2,
l(i)(w
,b)=
21(
y^(
i)−y
(i))
2,l (w
,b)=
1n∑i
=1nl
(i)(
w,b)
=1n∑
i=1n
12(w
⊤x(i
)+b−
y(i)
)2
.l(\mathbf, b) =\frac\sum_^n l^(\mathbf, b) =\frac \sum_^n \frac\left(\mathbf^\top \mathbf^ + b - y^\right)^2.
l(w,b)
=n1
i=1∑
nl(
i)(w
,b)=
n1i
=1∑n
21
(w⊤x
(i)+
b−y(
i))2
.當模型和損失函式形式較為簡單時，上面的誤差最小化問題的解可以直接用公式表達出來。這類解叫作解析解（analytical solution）。本節使用的線性回歸和平方誤差剛好屬於這個範疇。然而，大多數深度學習模型並沒有解析解，只能通過優化演算法有限次迭代模型引數來盡可能降低損失函式的值。這類解叫作數值解（numerical solution）。
在求數值解的優化演算法中，小批量隨機梯度下降（mini-batch stochastic gradient descent）在深度學習中被廣泛使用。它的演算法很簡單：先選取一組模型引數的初始值，如隨機選取；接下來對引數進行多次迭代，使每次迭代都可能降低損失函式的值。在每次迭代中，先隨機均勻取樣乙個由固定數目訓練資料樣本所組成的小批量（mini-batch）b
\mathcal
b，然後求小批量中資料樣本的平均損失有關模型引數的導數（梯度），最後用此結果與預先設定的乙個正數的乘積作為模型引數在本次迭代的減小量。
( w,
b)←(
w,b)
−η∣b
∣∑i∈
b∂(w
,b)l
(i)(
w,b)
(\mathbf,b) \leftarrow (\mathbf,b) - \frac|} \sum_} \partial_,b)} l^(\mathbf,b)
(w,b)←
(w,b
)−∣b
∣ηi
∈b∑
∂(w,
b)l
(i)(
w,b)
學習率: η
\eta
η代表在每次優化中，能夠學習的步長的大小
批量大小: b
\mathcal
b是小批量計算中的批量大小batch size
總結一下，優化函式的有以下兩個步驟：
(i)初始化模型引數，一般來說使用隨機初始化；
(ii)我們在資料上迭代多次，通過在負梯度方向移動引數來更新每個引數。
線性回歸（1）基本要素
線性回歸模型可以說是機器學習裡面第乙個學的模型了，理解了這個過程，那麼機器學習的一般過程也就很明白了。架設房價為y，房屋面積為x1，房齡為x2。我們收集一系列的這些資料，用於訓練這個模型。一棟房屋被稱為乙個樣本，真實 y稱為標籤 label 用來 的兩個因素x1，x2稱為特徵 feature 表示式...
敏捷開發基本要素
1.敏捷是 乙個 過程 敏捷不是乙個過程，是一類過程的統稱，它們有乙個共性，就是符合敏捷價值觀，遵循敏捷的原則。敏捷的價值觀如下 個體和互動 勝過 過程和工具 可以工作的軟體 勝過 面面俱到的文件 客戶合作 勝過 合同談判 響應變化 勝過 遵循計畫 由價值觀引出的12條敏捷原則 我們最優先要做的是通...
敏捷開發基本要素
1.敏捷是 乙個 過程 敏捷不是乙個過程，是一類過程的統稱，它們有乙個共性，就是符合敏捷價值觀，遵循敏捷的原則。敏捷的價值觀如下 個體和互動 勝過 過程和工具 可以工作的軟體 勝過 面面俱到的文件 客戶合作 勝過 合同談判 響應變化 勝過 遵循計畫 由價值觀引出的12條敏捷原則 我們最優先要做的是通...