求解，使用了代價函式j(θ)=∑(i=1,2,...m) (y(i)-θx(i))²/2，這裡給出使用該函式的概率上的解釋。
首先，假設
在這裡要提一下似然估計的概念，關於最大似然估計是以前概率論學過的，不過當時就是死記了乙個公式，這回遇到的時候完全不知道是幹什麼，經過多方查詢資料大概有了頭緒，個人理解就是對於乙個公式p(y|x,θ)=k，如果是將其看作關於y的函式，那就表示在引數已知為θ的情況下，不同的樣本（x,y）出現的概率，而如果將其看作關於θ的函式，則該函式就表示對於乙個已知樣本(x*,y*)，當θ取不同值時，該樣本出現的概率。而因為該樣本是乙個已知樣本，也就是已經出現了，那麼它出現的概率應該是很大的，那麼就可以求使得該函式值最大的θ，這就是最大似然估計。說的好像有點亂，希望有高手看到能更清楚的解釋下。
將最大似然估計運用到我們前面的問題上，就是對於m個訓練樣本集合，其組合概率密度函式也就是似然函式為
進行最大似然估計時通常對其取對數以方便計算，上式中的l(θ)取對數可以得到
從中已看出，要是似然函式值取最大，也就要令∑(i=1,2,...m) (y(i)-θx(i))²/2最小，和開頭給出的代價函式相同。
機器學習入門（五）之 線性回歸（概率解釋）
這裡大家可能已經發現了，到目前為止，我們沒有提到通常課本裡所說的什麼亂七八糟的正態分佈啦，誤差項啦，這其實是屬於線性回歸的概率解釋。現在我們就來看一看線性回歸的概率模型解釋。我們講線性回歸時用到了均方誤差損失，但沒有提到為什麼損失函式要具有均方誤差的形式。概率解釋就給你其中乙個理由。下面我們假設輸入...
概率解釋 區域性加權回歸 Logistic回歸
假設一種情況，根據x y a 使用y 0 1x1y 0 1x1 去匹配資料，過於擬合資料，喪失了 性。所以 a 代表了欠擬合 underfitting c 代表了過擬合 overfitting 這也說明了在監督學習中特徵的選擇會對學習演算法的效能產生很大的影響。parametric learning...
線性回歸中最小二乘的概率解釋
最小二乘法是常見的構造代價函式，擬合引數的方法，如下 cost h x y 2 這裡 最小二乘的概率依據。乙個簡單的例子 假設乙個袋子裡有無限個球，白球出現的比例是p，黑球為1 p。那麼我從中取10個球，得到了7個白球，很自然的，我們會估計白球出現的比例p 0.7 繼續，我們取100個球，得到了75...