老師給出了房價與房子面積、臥室數量的一組實際樣本。
目的是讓監督學習演算法**給定的一組資料（size,#benrooms），**輸出y為房子對應房價。
線性回歸
給定乙個**函式
引數θ 既我們現在需要演算法最終確定的值（目前理解）
那麼我們如何選擇引數的值？為了讓h(x)逼近給定的樣本y，定義乙個cost function（成本函式）：
老師的課上並未說明是如何得到此j，經查資料終於理解，記錄如下：
我們假設
所以要使誤差最小，再線性回歸中取均方差最小 既
故，我們為了取得乙個θ 使得j(θ)的值最小，可以使用梯度下降的方法（gradient descent）。
對於單個樣本：
推廣到m個樣本的情況：
還有一種方法叫做 隨機梯度下降(stochastic gradient descent)
2、矩陣的跡 和 矩陣導數
對於f(a)來說，他將 乙個mxn的矩陣對映到乙個實數r上，則 導數f(a)為乙個mxn的矩陣，被定義為所有矩陣元素對於f的偏導數
例如：對於乙個f(a) 將 2x2的矩陣對映到實數上
則 導數f(a)等於：
矩陣的跡是所有對角線上元素的累加和：
先引入矩陣求導和矩陣的跡 是為了簡化後面loss函式求最小值的過程，但先不知道用法。
這裡可以把矩陣的跡運算理解為f(x) 既將mxn的矩陣對映到實數的函式，所以可以對其求導
我們給出 輸入x，輸出y的矩陣表示模式：
根據得出
所以 使得j最小，倒數為0
即可直接由輸入得出引數
機器學習第一課
過擬合就是，通過訓練集進行訓練的時候，模型學習了太多的背景雜訊，讓模型的複雜度高於了真實模型 比如看到齒距型的葉子，就覺得不是葉子 欠擬合是指，模型在訓練集上進行學習的時候，效果就不是很好，沒有充分學習到其中的資訊量，複雜度低於真實模型，得到的模型泛化能力差 比如看到綠色，就覺得是葉子 模型評估指標...
機器學習總結 第一課
首先有這麼一句話，資料和特徵決定了機器學習的上限，而演算法和模型只是逼近這個上限而已 嗯嗯，資料處理和特徵工程很重要，大概佔據70 的工作量，而模型選擇 模型調參 模型融合佔據30 的工作量。接下來看看資料分析的流程 資料的分布，比如分類問題中，正負樣本均衡很重要，即正樣本數 負樣本數接近1 1比較...
機器學習的第一課
期中考完又是乙個新的開始，這學期除了acm還想花一些時間在其他方面，本來想做一些nlp的專案的，但看了一點發現根本看不下去，好多需要有機器學習的基礎。再加上我想往ai方向讀研。所以到b站上找了吳恩達老師的公開課，打算每週花上幾個小時自學，順便補補數理基礎。說來也慚愧，線代概統已經不記得多少了，ai又...