假如現在有n個房子的面積大小與**，我們想通過這些資料得出乙個模型，這個模型的作用是，當我輸入這n個房子之外的其它房子的面積時，模型可以**出它們的**。很好，這就是高中學過的線性回歸！
機器學習按學習方式可分為：監督學習、無監督學習、強化學習
按演算法可分為：傳統機器學習、深度學習、強化學習
監督學習的任務是學習出乙個模型，模型就是輸入到輸出的對映,有兩種表示方式：
對於新的輸入x
xx，分別給出**輸出y
=arg
maxy
p^(y
∣x)y=\mathop\limits_\hat(y|x)
y=yarg
maxp^
(y∣x
)，y=f^
(x)y=\hat(x)
y=f^(
x)模型的假設空間包含所有可能的條件概率分布或決策函式。例如，假設決策函式是輸入變數的線性函式，那麼模型的假設空間就是所有線性函式構成的函式集合。
引數向量θ
\theta
θ取值於n
nn維引數空間r
nr^n
rn有了假設空間，監督學習的目標就是從假設空間中選出最優模型。那如何選出最優模型呢？
損失函式：**值f(x
)f(x)
f(x)
與真實值y
yy可能相同，也可能不同。用損失函式度量**錯誤的程度。
損失函式的期望稱為期望損失（expected loss），目標就是選擇出期望損失最小的模型。但p(x
,y)p(x,y)
p(x,y)
未知，所以rex
p(f)
r_(f)
rexp(
f)無法直接計算，反過來，如果知道p(x,y)，那麼p(y|x)便能直接計算出來，也就不需要學習了。
r ex
p(f)
=ep[
l(x,
f(x)
)]=∫
l(x,
f(x)
)p(x
,y)d
xdyr_(f)=e_p[l(x,f(x))]=\int l(x,f(x))p(x,y)\, x\, y
rexp(
f)=e
p[l
(x,f
(x))
]=∫l
(x,f
(x))
p(x,
y)dx
dy損失函式是針對乙個樣本點的，在整個訓練集上的平均損失定義為經驗損失（empirical loss）：
r em
p(f)
=1n∑
i=1n
l(yi
,f(x
i))r_(f)=\frac\sum_^n l(y_i,f(x_i))
remp(
f)=n
1i=
1∑n
l(yi
,f(
xi)
)根據大數定律，當樣本數n趨於無窮時，經驗損失rem
p(f)
r_(f)
remp(
f)趨於期望損失rex
p(f)
r_(f)
rexp(
f)。但現實中訓練樣本數目有限，用經驗損失估計期望損失不理想，所以要對經驗損失進行一定的矯正。從而關係到監督學習的兩個基本策略：
經驗損失最小化：min
f∈f1
n∑i=
1nl(
yi,f
(xi)
)\mathop\limits_\frac\sum_^n l(y_i,f(x_i))
f∈fminn
1∑i
=1n
l(yi
,f(
xi)
)結構損失最小化：min
f∈f1
n∑i=
1nl(
yi,f
(xi)
)+λj
(f)\mathop\limits_\frac\sum_^n l(y_i,f(x_i))+\lambda j(f)
f∈fminn
1∑i
=1n
l(yi
,f(
xi)
)+λj
(f)λj(
f)\lambda j(f)
λj(f
)便是對經驗損失的矯正，其中j(f
)j(f)
j(f)
是模型的複雜程度，模型越複雜，j(f
)j(f)
j(f)
就越大。λ
\lambda
λ用來權衡經驗損失和模型複雜度。總體的目標是使經驗損失與模型複雜度都小。
演算法是指學習模型的具體方法。以上，統計學習問題被歸結為最優化問題（即使經驗損失或結構損失最小化問題），統計學習的演算法也就是求解最優化問題的演算法。比如梯度下降等。
以上，便是機器學習三要素：模型+策略+演算法。
機器學習概論
目前，工作中的事情相對少一點，富餘時間比較足，因此，可以拿出一部分時間用來學習下機器學習方面的理論知識與實踐知識。這樣做主要出於兩個方面的目的，一方面是想通過本次整理的系列來增強與梳理自己在機器學習領域中的理解，梳理出自己在機器學習領域中的方 另一方面，提公升自己的實際工作效率。好了，以上說明了本次...
機器學習 機器學習概論
3 模型評估與模型選擇 4.具體應用 統計學習 是關於計算機基於 資料 構建概率統計模型並運用模型對資料進行 分析 統計學習的三要素 模型在監督學習中，模型就是所要學習的條件概率分布或決策函式。這在後面的章節中會重點介紹。策略 評價模型的標準 用損失函式和代價函式來度量 錯誤的程度。1 幾種損失函式...
機器學習小概論
機器學習發展歷程 人類一直試圖讓機器具有智慧型，也就是人工智慧 artificial intelligence 從上世紀50年代，人工智慧的發展經歷了 推理期 通過賦予機器邏輯推理能力使機器獲得智慧型，當時的ai程式能夠證明一些著名的數學定理，但由於機器缺乏知識，遠不能實現真正的智慧型。因此，70年...