一：監督學習的三要素
模型：總結資料的內在規律，用數學函式描述的系統；
策略：選取最優模型的評價準則；
演算法：選取最優模型的具體方法；
二：監督學習的實現步驟
1.得到乙個有限的訓練資料集
2.確定包含所有學習模型的集合；
3.確定模型選擇的準則，也就是學習策略；
4.實現求解最優模型的演算法，也就是學習演算法；
5.通過學習演算法選擇最優模型；
6.利用得到的最優模型，對新資料進行**和分析；
三：監督學習模型評估策略
1.模型評估
（1）訓練集和測試集
訓練集：輸入到模型中對模型進行訓練的資料集合；
測試集：模型訓練完成後測試訓練效果的資料集合；
（2）損失函式和經驗風險
損失函式：對於選定的模型f(x),損失函式表示**值f(x)和真實值y之間的偏差程度，記為l(y,f(x));也就是用來衡量模型**誤差的大小，損失函式值越小，模型就越好；
經驗風險：模型f(x)關於訓練資料集的平均損失稱為經驗風險；
（3）訓練誤差和測試誤差
訓練誤差：關於訓練集的平均損失；
測試誤差：關於測試集的平均損失；
2.模型選擇
（1）過擬合和欠擬合
過擬合：特徵集過大；
欠擬合：特徵集過小；
（2）正則化和交叉驗證
正則化：為了防止過擬合而提出的，在經驗風險上加上表示模型複雜度的正則化項；
交叉驗證：將資料隨機的分成兩部分，如70%作為訓練集，30%作為測試集。
四：分類和回歸
分類：**的結果為離散值；
回歸：**的結果為連續值；
五：監督學習模型求解演算法
梯度下降法：
牛頓法和擬牛頓法：
機器學習筆記 監督學習，無監督學習，半監督學習
這個問題可以回答得很簡單 是否有監督 supervised 就看輸入資料是否有標籤 label 輸入資料有標籤，則為有監督學習，沒標籤則為無監督學習。什麼是學習 learning 學習 乙個成語就可概括 舉一反三。此處以高考為例，高考的題目在上考場前我們未必做過，但在高中三年我們做過很多很多題目，懂...
機器學習日記 監督學習 無監督學習
監督學習是指 利用一組已知類別的樣本調整 分類器的 引數，使其達到所要求效能的過程，也稱為 監督訓練或有教師學習。無監督學習 現實生活中常常會有這樣的問題 缺乏足夠的 先驗知識 因此難以人工標註類別或進行人工類別標註的成本太高。很自然地，我們希望計算機能代我們完成這些工作，或至少提供一些幫助。根據類...
機器學習之 監督學習應用
最近想搞點新東西，然後就選擇了機器學習，剛開始學 史丹福大學的公開課 有很多不懂地方，如果有什麼錯誤，歡迎指正。首先來介紹一下什麼叫回歸 回歸在數學上來說是給定乙個點集，能夠用一條曲線去擬合，如果這個曲線是一條直線，那就被稱為線性回歸，如果曲線是一條二次曲線，就被稱為二次回歸.引入乙個房屋銷售的例子...