機器學習上的方法分為引數方法(根據先驗知識假定模型服從某種分布，然後利用訓練集估計出模型引數，也就弄清楚了整個模型，例如感知器)和非引數方法(基於記憶訓練集，然後根據訓練集**，例如knn)。
引數方法根據先驗知識假定模型服從某種分布，然後利用訓練集估計出模型引數，也就弄清楚了整個模型。
那麼，估計模型引數到底是乙個客觀存在的引數還是乙個概率密度分布，這個分歧就引出了貝葉斯學派和非貝葉斯學派的不同之處。
非貝葉斯學派認為先驗知識是指一組資料服從某個分布，那麼分布的引數是客觀存在的，可以利用資料做出估計，進而獲得後驗估計。典型代表方法是最大似然估計。
貝葉斯學派認為，先驗知識是資料服從某個分布和這個分布引數的先驗概率密度，模型的引數本來就是乙個概率分布，資料集可以獲得引數的後驗概率密度，進而獲得後驗估計。這種方法稱為貝葉斯估計。
我學概率統計課程的時候對貝葉斯估計比價陌生，最近準備詳細推導幾個例題加深理解。對於貝葉斯估計，紙上得來終覺淺，還是推導幾個例題較好。
關於貝葉斯決策理論我之前學習學到過，部落格裡也總結過最小化期望風險的思想。
下面總結一下關聯規則的一些度量。
s up
port
(x,y
)=p(
x,y)
support(x,y)=p(x,y)
suppor
t(x,
y)=p
(x,y)co
nfid
ence
(x→y
)=p(
x∣y)
confidence(x→y)=p(x|y)
confid
ence
(x→y
)=p(
x∣y)
l if
t(x→
y)=p
(x,y
)p(x
)p(y
)lift(x→y)=
lift(x
→y)=
p(x)
p(y)
p(x,
y)
##引數估計的泛化誤差
泛化誤差由方差和偏倚組成。
e (d
−θ)2
=e((
d−ed
)+(e
d−θ)
)2=v
ar(d
)+(e
d−θ)
2e(d-\theta)^2=e((d-ed)+(ed-\theta))^2=var(d)+(ed-\theta)^2
e(d−θ)
2=e(
(d−e
d)+(
ed−θ
))2=
var(
d)+(
ed−θ
)2欠訓練時，方差小，偏倚大，欠擬合。
過訓練時，方差大，偏倚小，過擬合。
非引數方法 引數方法與半引數方法
引數學習方法 假設了乙個在整個輸入空間上有效的模型，將問題歸結為在樣本上估計少量引數，如 線性模型估計w，高斯分布估計mu和sigma 引數學習方法假定了乙個模型，當模型假定不成立，或者樣本不是乙個分組，可能導致很大的誤差。如 語音識別，由於不同口音 性別 年齡 發音等，沒有單個同樣的模型 半引數方...
帶引數方法和不帶引數方法
方法分為帶引數不帶引數兩種 a不帶引數 public void showinfo b帶引數方法 public void showinfo intname,string str 結論 1方法定義處，引數叫形式引數，也叫形參 主要用來約束引數型別的 形參的名字可以隨便取，但要符合駝峰命名規則，同時要有意...
輸入引數和方法
在 codesmith快速入門之一 初次接觸codesmith 中，我們實現了最簡單的模板，但是模板中的內容無法由使用者的輸入決定。假定你女朋友要你在新年的時候說10次 i love you 而在情節人那天要你說1000次 i love you for ever 這可怎麼辦呢？我們經過分析，其實就是...