• 廣義地說，存在於時間和空間中可觀察的物體，如果我們可以區別它們是否相同或是否相似，都可以稱之為模式。
模式所指的不是事物本身，而是從事物獲得的資訊，因此，模式往往表現為具有時間和空間分布的資訊。
• 模式的直觀特性:
– 可觀察性
– 可區分性
– 相似性
• 機器學習的目標：針對某類任務t，用p衡量效能，根據經驗來學習和自我完善，提高效能。
• 模式識別系統的目標：在特徵空間和解釋空間之間找到一種對映關係，這種對映也稱之為假說。
•資料聚類
目標：用某種相似性度量的方法將原始資料組織成有意義的和有用的各 種資料集。是一種非監督學習的方法，解決方案是資料驅動的。
•統計分類
基於概率統計模型得到各類別的特徵向量的分布，以取得分類的方法。
特徵向量分布的獲得是基於乙個類別已知的訓練樣本集。是一種監督分類的方法，分類器是概念驅動的。
•結構模式識別
該方法通過考慮識別物件的各部分之間的聯絡來達到識別分類的目的。識別採用結構匹配的形式，通過計算乙個匹配程度值（matching score）來評估乙個未知的物件或未知物件某些部分與某種典型模式的關係如何。
•神經網路
神經網路是受人腦組織的生理學啟發而創立的。由一系列互相聯絡的、相同的單元（神經元）組成。相互間的聯絡可以在不同的神經元之間傳遞增強或抑制訊號。
增強或抑制是通過調整神經元相互間聯絡的權重係數來（weight）實現。神經網路可以實現監督和非監督學習條件下的分類。
•監督學習
監督學習是從有標記的訓練資料來推斷或建立乙個模型，並依此模型推測新的例項。
•無監督學習
無監督學習是我們不告訴計算機怎麼做，而是讓它自己去學習怎樣做一些事情。
無監督學習與監督學習的不同之處在於，事先沒有任何訓練樣本，需要直接對資料進行建模，尋找資料的內在結構及規律，如類別和聚類。常用於聚類、概率密度估計。
•半監督學習
半監督學習（semi-supervised learning）是模式識別和機器學習領域研究的重點問題，是監督學習與無監督學習相結合的一種學習方法。
•增強學習
增強學習要解決的問題：乙個能夠感知環境的自治機械人，怎樣通過學習選擇能達到其目標的最優動作。
機械人選擇乙個動作用於環境，環境接受該動作後狀態發生變化，同時產生乙個強化訊號(獎或懲)反饋回來。
•整合學習
整合學習（ensemble learning）是機器學習中一類學習演算法，指聯合訓練多個弱分類器並通過整合策略將弱分類器組合使用的方法。由於整合了多個分類器，這類演算法通常在實踐中會取得比單個若分類器更好的**結果。
常見的整合策略有：boosting、bagging、 random subspace 、stacking等。
常見的演算法主要有：決策樹、隨機森林、adaboost、gbdt、dart等。
•深度學習
深度學習的概念源於人工神經網路的研究，除輸入層和輸出層外，含多個隱藏層的神經網路就是一種深度學習結構。
深度學習通過層次化模型結構可從低層原始特徵中逐漸抽象出高層次的語義特徵，以發現複雜、靈活、高效的特徵表示。
常見的深度學習模型有：卷積神經網路， 遞迴神經網路，深度信任網路，自編碼器，變分自編碼器等。
•元學習
元學習（meta learning）或者叫做「學會學習」（learning to learn），它是要「學會如何學習」，即利用以往的知識經驗來指導新任務的學習，具有學會學習的能力。
當前的機器學習模型往往只侷限於從頭訓練已知任務並使用精調來學習新任務，耗時較長，且效能提公升較為有限。
•多工學習
多工學習是指通過共享相關任務之間的表徵，聯合訓練多個學習任務的學習正規化。
•多標記學習
多標記學習問題為一種特殊的有監督分類問題，其所處理的資料集中的每個樣本可同時存在多個真實類標。
多標記學習主要用於處理多種標籤的語義重疊，如**歌曲的**流派，**圖書、商品的屬性標籤。
•對抗學習
對抗學習是針對傳統機器學習的一種攻擊性方法，是機器學習和計算機安全領域都十分關注的交叉問題。
對抗學習主要通過惡意輸入來誤導機器學習演算法或模型使其得到錯誤結果，並在該過程中暴露機器學習演算法存在的脆弱性，幫助設計適應複雜環境的魯棒學習方法。
隨機變數x的數學期望（或稱均值）記作e(x)，它描述了隨機變數的取值中心。隨機變數( x - e(x) )2的數學期望稱為x的方差，記作σ2，而σ稱為x的均方差（標準差）。它們描述了隨機變數的可能取值與均值的偏差的疏密程度。
1、若x是連續型隨機變數，其分布密度為p(x)，則（當積分絕對收斂時）
2、若x是離散型隨機變數，其可能取值為xk，k=1,2,…，且p(x=xk) = pk，則（當級數是絕對收斂時）
模式識別與機器學習（2）
參考部落格 隨機梯度下降 clear all x load ex2data ex2x.dat y load ex2data ex2y.dat x 1.15 1.9 3.06 4.66 6.84 7.95 10,14,16 x power x,0.5 y power x,0.5 m length y ...
模式識別與機器學習（4）
講了推理，以及主要收穫為，原來是對損失函式求導。不過公式不是很對，因為 clear x load ex4data ex4x.dat y load ex4data ex4y.dat m,n size x x ones m,1 x figure pos find y neg find y 0 plot ...
模式識別與機器學習（5）
clear x load ex5data ex5linx.dat y load ex5data ex5liny.dat x load linear regression ex2data ex2x.dat y load linear regression ex2data ex2y.dat plot x...