PRML筆記 模式識別與機器學習

[prml筆記-notes on pattern recognition and machine learning.pdf]

[知乎pattern recognition and machine learning這本書怎麼看？

介紹了概率論，區分了經典概率論（frequentist）和 bayesian理論

model selection

decision theory

information theory

簡單的講解了概率分布，重點是gaussian distribution，後面章節會被廣泛應用，而且也是統計學習的基本假設。

3.1 常用的least squares的方法，亮點是它和maximum likelihood的關係

重點講到fisher lda

4.3 probabilistic discriminative models

重點講到logistic regression。很有意思的是，logistic regression雖然名字是regression， 確是分類的方法

4.5 bayesian logistic regression

這本書提到的神經網路是很早以前的內容，不涉及deep learning。書中有些方法和理論已經有點過時了，想要更好地學習神經網路以及深度網路，找一些更新的書來看

rbf kernel 和 gaussian processes

重點是svm（support vector machines）和 svr

非常火熱的model

重點講到hmm（hidden markov models）

latents variable 是 discrete

講clustering的方法。 k-means， guassian mixture 以及 em演算法

latents variable 是 continuous

pca （principal component analysis）及其變種

tree models: boosting, bootstrap

ref: 

模式識別與機器學習（2）

參考部落格 隨機梯度下降 clear all x load ex2data ex2x.dat y load ex2data ex2y.dat x 1.15 1.9 3.06 4.66 6.84 7.95 10,14,16 x power x,0.5 y power x,0.5 m length y ...

模式識別與機器學習（4）

講了推理，以及主要收穫為，原來是對損失函式求導。不過公式不是很對，因為 clear x load ex4data ex4x.dat y load ex4data ex4y.dat m,n size x x ones m,1 x figure pos find y neg find y 0 plot ...

模式識別與機器學習（5）

clear x load ex5data ex5linx.dat y load ex5data ex5liny.dat x load linear regression ex2data ex2x.dat y load linear regression ex2data ex2y.dat plot x...