機器學習區域性加權回歸，邏輯回歸

特徵選擇問題：underfitting,overfitting

parametric learing algorithm:有固定數目的引數以用來資料擬合的演算法；

non-parametric learing algorithm:引數隨著訓練集大小線性增長；

lwr:fit $\theta$ to minimize $\sum_iw^(y^-\theta^tx^)^2$ where $w^=exp(-\frac-x)^2}})$

解得$\theta=(x^twx)^x^twy$

備註：每次**乙個，都需要重新建立模型；

為什麼選擇最小二乘：

assume $y^=\theta^tx^+\varepsilon ^$

$p(\varepsilon ^)=\frac\sigma}exp)^2})}$ 假設為高斯分布的原因：乙個合理準確的假設（中心極限定理）；數學計算的便利；

so $y|x;\theta $ ~ $n (\theta^tx^,\sigma^2)$ 其中$\theta$不是隨機變數，所以用的是分號；

$\varepsilon ^s $ are iid independently identically distributed

$l(\theta)=p(\vec y|x;\theta))=\pi_^mp(y^|x^;\theta)$

極大似然估計：choose $\theta$ to maximize $l(\theta)$

$ll(\theta)=log l(\theta)=\sum_^mlog[\frac\sigma}exp)^2})}]=mlog\frac\sigma}+\sum_^m-\frac-\theta^tx^)^2}$

to minimizie $j(\theta)=\sum_^\frac-\theta^tx^)^2}$

邏輯回歸（logistic regression）與線性回歸（linear regression）都是一種廣義線性模型（generalized linear model）。邏輯回歸假設因變數 y 服從伯努利分布，而線性回歸假設因變數 y 服從高斯分布。

$y\epsilon \h_\theta(x)\epsilon[0,1]$

choose假設函式: $h_\theta(x)=g(\theta^tx)=\frac}$ g(z)為logistic或者sigmoid函式

$p(y=1|x;\theta)=h_\theta(x)$

$p(y=0|x;\theta)=1-h_\theta(x)$ ->$p(y|x;\theta)=(1-h_\theta(x))^h_\theta(x)^y$

決策邊界：乙個方程，分開兩個部分

在邏輯回歸中，假設函式（h=g(z)）用於計算樣本屬於某類別的可能性；決策函式（h=1(g(z)>0.5)）用於計算（給出）樣本的類別；決策邊界（θ^tx=0）是乙個方程，用於標識出分類函式（模型）的分類邊界。

代價函式：

$l(\theta)=p(\vec y|x;\theta))=\pi_^m(1-h_\theta(x^))^}h_\theta(x^)^}$

$ll(\theta)=logl(\theta)$ 可以用梯度上公升法做,其中$\fracll(\theta)=\sum_^m(y^-h_\theta(x^))x_j^$

矩陣法更新公式： w=w+（y-w$x^$ ）$x^$

機器學習 區域性加權回歸，邏輯回歸