**hw學長**
非參不是指不需要引數，而是指引數是不確定的，且是可以隨著語料的規模，建模需求的改變而動態改變的。 對於非參方法亦可分為貝葉斯方法和非貝葉斯方法。比如k 近鄰方法是典型的非貝葉斯非參模型。這裡我們主要討論貝葉斯非參方法。其利用假設無限個數的引數先驗來建模資料，貝葉斯方法則巧妙的使每個引數的取值都不是唯一的，從而使得建模資料的變化，引數能夠動態的改變。
參考
貝葉斯非引數模型是一種定義在無限維引數空間上的貝葉斯模型。顧名思義，也就是非引數模型的大小可以隨著模型內資料的增大或減小而自適應於模型的變化，有多少個資料，我可以根據資料選擇引數，來決定模型的選擇（這一定義的直觀解釋參考prml figure 2.5）。
非引數模型也是需要假設引數的，跟以往引數模型不同之處在於這個非引數模型只需要乙個很小的假設就能夠學習並對資料聚類。
非引數的分析及模型選擇，可以歸結到貝葉斯推斷問題中（inference）.當前較為流行的貝葉斯非引數模型包括高斯回歸過程，這個是結構的變化隨著樣本的變化而不斷發生變化。還有乙個用的較多的狄里克雷混合過程用於解決clustering，它將新來的資料不斷的分到相應的clustering中去。
非引數模型下的聚類問題.由於概率模型和先驗分布，可以得到個引數的後驗分布。
非引數模型下的聚類問題.由於概率模型和先驗分布，可以得到個引數的後驗分布：中餐館應用於聚類的2種不同闡述
先說乙個概念，共軛先驗（conjugate prior）：在貝葉斯分布中，如果後驗概率分布與先驗概率屬於同一函式族，就把先驗分布叫做後驗分布的共軛先驗。
再說dirichlet分布：dirichlet分布是多項分布（multinomial distribution）的共軛先驗，對應於betta分布是二項分布的共軛先驗。
樸素貝葉斯模型
生成模型 條件概率 p a b p a b p b 全概率 p a in p a bi p bi inp abi 把所 有包含a 的情況都 加起來 貝葉斯公式 p a b p ak b p ab p b ak p ak p b i p b ai p ai p b ak p ak i 1 kp b a...
貝葉斯優化引數
貝葉斯優化 貝葉斯優化用於機器學習調參由j.snoek 2012 提出，主要思想是，給定優化的目標函式 廣義的函式，只需指定輸入和輸出即可，無需知道內部結構以及數學性質 通過不斷地新增樣本點來更新目標函式的後驗分布 高斯過程,直到後驗分布基本貼合於真實分布。簡單的說，就是考慮了上一次引數的資訊 從而...
非引數貝葉斯隱式半馬爾可夫模型
將無處不在的對時間序列處理的馬爾可夫模型加入層次性狄利克雷過程隱式馬爾可夫鏈 hdp hmm 作為乙個自然的非引數貝葉斯的擴充套件是很重要的。但是，很多時候，hmm的馬爾可夫性的約束是很不必要的，尤其是當我們想要學習或者編碼非幾何分布的狀態時間的時候。我們可以擴充套件hdp hmm來獲取一種從確定時...