一、
1.在這節課中我們將補充一些缺失的細節，並且介紹一些在實際中應用這些思想，例如怎麼處理支援向量機中的偏差分析。上節課我們談到選擇標記點的過程，比如l(1),l(2)和l(3)使我們能夠定義相似度函式，我們也稱之為核函式，在這個例子中，我們的相似度函式為高斯核函式，這使得我們能夠構造乙個**函式，但是我們從**能夠得到這些標記點呢？從**得到l(1)，l(2)和l(3)呢？
在一些複雜問題中我們也許需要跟多的標記點，而不是我們這裡選擇的三個點，因此在實際的學習問題中，怎麼選取標記點，我們的資料集中有一些正樣本和負樣本，我們的想法是將選取樣本點，我們擁有的每乙個樣本點，只需要直接使用它們，直接將訓練樣本作為標記點，如果我們有乙個這樣的訓練樣本x1，那麼我們將在這個樣本相同的位置上選作我們的第乙個標記點，我們還有另乙個訓練樣本x2，那麼第二個標記就在與第二個樣本點一至的位置， 右圖的藍色標記可以用l(m)進行標記：
這個過程挺不錯的，這說明特徵函式基本上式描述每乙個樣本的距離樣本中其他樣本的距離，我們列出基本的過程的大綱為：給定m個訓練樣本，我們將選取m個訓練樣本完全一樣的位置上基本一致的位置作為我的標記點，當給定樣本x，樣本x可以作為訓練集也可以屬於交叉驗證集或者屬於測試集，給定樣本x，我們來計算這些特徵比如f1，f2等等。這裡的l(1)等於x1，然後給了我們乙個特徵向量，我們先把f寫成特徵向量，把f1,f2,f3...組成特徵向量，按照慣例額外的特徵f0一直讓它等於1，那麼這個東西和我們之前的一樣，對於x0就是截距。
比如我們有乙個訓練樣本(x(1),y(i))，我們對這個樣本要計算的特徵是這樣的：給定x(i)我們將其對映到f1(i)，即
，類似的f2(i)等於x(i)和f(2)之間的相似度，其他的相似度函式類似如下：
在這個對映列表中第i個元素，實際上有乙個特徵元素寫作為fi(i)，這是x(i)和l(i)之間的相似度，這裡的l(i)就等於x(i)，fi(i)。
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...
吳恩達機器學習感悟
吳恩達機器學習，斯坦福2014筆記 由8.2 神經元和大腦想到的 神經重連實驗，比如眼睛連到聽覺皮層，則聽覺皮層學會了看 眼睛連到觸覺皮層，則觸覺皮層學會了看 舌頭上加攝像頭關聯的電極陣列，則負責舌頭感知的皮層學會了看。這寫neuron re wiring實驗，給出的結論是大腦各區使用的是同一種演算...
吳恩達機器學習筆記
sigmoid啟用函式 0，1 x 0,y 0.5 tanh啟用函式 1，1 x 0,y 0 relu啟用函式 x 0,y 0 x 0,y x sigmoid啟用函式 除了輸出層是乙個二分類問題基本不會用它。tanh啟用函式 tanh是非常優秀的，幾乎適合所有場合。relu啟用函式 最常用的預設函式...