統計學習方法筆記（1）

統計學習的過程：

確定包含所有可能模型的假設空間

確定各個模型學習的策略

利用不同的演算法求解各個模型

進行模型評估和選擇：對各個模型進行評估，最終選擇最優模型

利用最優的模型對資料進行**或分析。

例子： 用 房屋****的例子更好理解這乙個過程。

真實房價 y 與房屋面積 (x1) 、房間數量 (x2) 等特徵有關。現在要求我們建模實現房屋**的**問題。

第一步，我們應該先確定假設空間。

可以用線性回歸模型 f1(x)=wtx

假設1：我們認為房價很只取決於房屋面積 (x1)

h1(x)=ω0+ω1x1

假設2：我們認為房價只取決於房屋面積 (x1)和房間數量(x2)

h2(x)=ω0+ω1x1+ω2x2

也可以用多項式回歸模型擬合曲線: f2(x)=w0+w1x1+w2x22。

則假設空間為：

ω= 其實，假設空間的就是你要選擇什麼模型去解決乙個問題，從大方向上說，你可以選擇線性模型，也可以多項式回歸模型，選擇了乙個模型後還要繼續做假設，**在不同特徵數量下哪個模型的效能更好。

第二步，確定`f1(x),f2(x)兩個模型各自的學習的策略：

對於f1(x)=ωtx+b： 可以採用梯度下降演算法求解最佳引數 ω∗，得到最優模型：y=ω∗tx+b∗.

類似的，得到對 f2(x)=wtx+θtx2 的最優模型： f2(x)=w∗tx+θ∗tx2

進行模型評估和選擇：對各個模型進行評估，最終選擇最優模型

通過一些模型選擇的方法，從 f1(x),f2(x) 中選擇出好的模型，假設是 f1(x)

用 f1(x) 進行**或分析。

統計學習方法筆記1 統計學習方法概論

統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...

統計學習方法筆記（1）

第一次閱讀李航的 統計學習方法概論 特此記錄一些重點知識以備複習。基本概念 1 統計學習方法三要素 模型 策略和演算法。2 假設空間 要學習的模型的集合稱為假設空間。3 本書主要介紹監督學習方法，主要包括用於分類 標註與回歸問題的方法。在自然語言處理 資訊檢索 文字資料探勘等領域有廣泛的應用。監督學...

統計學習方法 1 統計學習方法概論

統計學習的主要特點是 1 統計學習以計算機及網路為平台，是建立在計算機及網路之上的 2 統計學習以資料為研究物件，是資料驅動的學科 3 統計學習的目的是對資料進行 與分析 4 統計學習以方法為中心，統計學習方法構建模型並應用模型進行 與分析 5 統計學習是概率論 統計學 資訊理論 計算理論 最優化理...