基本思想：假設有n個樣本，要求按距離閾值t分類到聚類中心
步驟：step1:將第乙個樣本作為第一類的中心，z1=x1.
step2:將剩下的樣本計算||xi-z1 ||，若大於閾值t，則xi作為新的一類的中心z2.
step3:將剩餘樣本分別計算||xi-z1||,||xi-z2||，若||xi-z1||>t且||xi-z2||>t，則取xi作為新的聚類的中心z3。否則xi屬於距離z1和z2的較近者。
step4:按上述策略重複下去，直至將n個模式分類完畢。
優點：計算簡單，若模式樣本的集合分布的先驗知識已知，則可獲得較好的聚類結果。
缺點：在實際中，對於高維模式樣本很難獲得準確的先驗知識，因此只能選用不同的閾值和起始點來試探，並對結果進行驗證。
這種方法在很大程度上依賴於以下因素：
第乙個聚類中心的位置（初始化問題）
待分類模式樣本排列次序（聚類樣本的選擇問題）
距離閾值t的大小（判決準則問題）
樣本分佈的幾何性質（樣本的固有特性問題）
基本思想：以試探類間歐式距離為最大作為預選出聚類中心的條件。
步驟：step1:將第乙個樣本x1作為第一類的中心z1.
step2:在剩餘樣本中選出距離x1最遠的樣本xi作為第二類的中心z2.
step3:計算剩餘樣本xi距離z1,z2的較小者min(||xi-z1||,||xi-z2||)，並取這些距離的最大值max。若max>c*||z1-z2||，則xi為z3，c為常量。若找不到，則聚類結束。若找到，則按上述規則繼續找新的類。
step4:找到各類及其中心點後，剩餘樣本分配到最鄰近的類。
結論：該演算法的聚類結果與引數c和起始點z1的選取關係重大。若無先驗樣本分佈知識，則只有試探法通過多次試探優化，若有先驗知識用於指導c和z1選取，則演算法可以很快收斂。
基本思想：先把每個樣本作為一類，然後根據它們間的相似性或相鄰性聚合，類別由多到少，直到獲得合適的分類要求為止；相似性、相鄰性用距離表示。聚合的關鍵就是每次迭代中形成的聚類之間以及它們和樣本之間距離的計算，不同的距離函式會得到不同結果。
步驟：step1：設初始模式樣本共有n個，每個樣本自成一類，即建立n類，g1(0),g2(0),g3(0),...,gn(0)。計算各類之間的距離（初始時即為各樣本間的距離），得到乙個n*n維的距離矩陣d(0)。這裡，標號(0)表示聚類開始運算前的狀態。
step2：假設前一步聚類運算中已求得距離矩陣d(n)，n為逐次聚類合併的次數，則求d(n)中的最小元素。如果它是gi(n)和gj(n)兩類之間的距離，則將gi(n)和gj(n)兩類合併為一類gij(n+1)，由此建立新的分類：g1(n+1),g2(n+1),...,gl(n+1)。
step3：計算合併後新類別之間的距離，得d(n+1)。計算與其它沒有發生合併的之間的距離，可採用多種不同的距離計算準則進行計算。
step4：返回step2，重複計算及合併，直到得到滿意的分類結果。（如：達到所需的聚類數目，或d(n)中的最小分量超過給定閾值d等。）
注：距離計算準則
進行聚類合併的乙個關鍵就是每次迭代中形成的聚類之間以及它們和樣本之間距離的計算，採用不同的距離函式會得到不同的計算結果。
主要的距離計算準則：
–最短距離法
–最長距離法
–中間距離法
–重心法
–類平均距離法
聚類準則函式：
首先選擇若干個樣本點作為聚類中心，再按某種聚類準則（通常採用最小距離準則）使樣本點向各中心聚集，從而得到初始聚類，然後判斷初始分類是否合理。若不合理，則修改分類，如此反覆進行修改聚類的迭代演算法，直到合理為止。以下為動態聚類框圖
將給定的樣本劃分為k類，k預先指定。
基本思想：基於使聚類效能指標最小化，所用的聚類準則函式是聚類集中每乙個樣本點到該類中心的距離平方之和，並使其最小化。
步驟：step1.為每個聚類確定乙個初始聚類中心，這樣，就有k個初始聚類中心。
step2.將樣本集中的樣本xi按照最小距離原則分配到最鄰近聚類zj
step3.使用每個聚類中的樣本均值作為新的聚類中心。
step4.重複步驟2.3直到聚類中心不再變化。
step5.結束，得到k個聚類。
缺點：必須指定聚類的個數，這個有些時候並不太行得通。演算法需要確定初始隨機種子點，不同的初始種子點選取會造成不同的分類結果。
這種方法很大程度依賴於以下因素：
所選聚類的數目
聚類中心的初始分布
模式樣本的幾何性質
讀入次序
基本思想：
（1）選擇某些初始值，可選不同引數指標，也可在迭代過程中人為修改，以將n個模式樣本按指標分配到各個聚類中心中去。
（2）計算各類中諸樣本的距離指標函式
（3）-（5）按給定的要求，將前一次獲得的聚類集進行**和合併處理（（4）為**處理，（5）為合併處理），從而獲得新的聚類中心。
（6）重新進行迭代運算，計算各項指標，判斷聚類結果是否符合要求，經過多次迭代後，若結果收斂，則運算結束。
步驟：step1：初始化
設定控制引數：
c：預期的類數；
nc：初始聚類中心個數（可以不等於c）；
tn：每一類中允許的最少樣本數目（若少於此數，就不能單獨成為一類）；
te：類內各特徵分量分布的相對標準差上限（大於此數就**）；
tc：兩類中心間的最小距離下限（若小於此數，這兩類應合併）；
nt：在每次迭代中最多可以進行「合併」操作的次數；
ns：允許的最多迭代次數。
選定初始聚類中心
step2：按最近鄰規則將樣本集中每個樣本分到某一類中。
step3：依據tn判斷合併：如果類ωj中樣本數nj< tn，則取消該類的中心zj，nc=nc-1，轉至② 。
step4：計算分類後的引數：各類重心、類內平均距離dj及總體平均距離d
計算各類的重心；
計算各類中樣本到類心的平均距離dj；
計算各個樣本到其類內中心的總體平均距離d；
step5：判斷停止、**或合併。
a、若迭代次數ip =ns，則演算法結束；
b、若nc ≤c/2，則轉到step6 （將一些類**）；
c、若nc ≥2c，則轉至step7（跳過**處理）；
d、若c/2< nc<2c，當迭代次數ip是奇數時轉至step6 （**處理）；迭代次數ip是偶數時轉至step7 （合併處理）。
step6：**操作
計算各類內樣本到類中心的標準差向量
σj=(σ1j, σ2j,…., σnj)t , j=1,2,…..,nc
計算其各個分量。
求出每一類內標準差向量σj中的最大分量σjmax
若有某一類中最大分量大於te，同時又滿足下面兩個條件之一：
a、 dj>d 和 nj>2(tn+1)
b、nc≤c/2
則將該類ωj**為兩個類，原zj取消且令nc=nc+1。
兩個新類的中心zj+和zj-分別是在原zj中相應於 σjmax的分量加上和減去kσjmax ，而其它分量不變，其中0step7：合併操作
計算各類中心間的距離dij，i=1,2,…,nc-1; j=1,2,…,nc
依據tc判斷合併。將dij與tc比較，並將小於tc的那些dij按遞增次序排列，取前nt個。
從最小的dij開始，將相應的兩類合併，並計算合併後的聚類中心。
在一次迭代中，某一類最多只能合併一次。
nc=nc-已並掉的類數。
step8：如果迭代次數ip=ns或過程收斂，則演算法結束。否則，ip=ip+1，若需要調整引數，則轉至step1；若不改變引數，則轉至step2；
模式識別 統計模式識別（6）
上一節，我們討論了最小錯誤率分類器，接下來這一節我們將討論最小風險bayes分類器。1.問題提出 1.最小錯誤率bayes決策的最小錯誤率 概率意義上最優，在工程上是否是最優?2.錯誤分類的結果 代價或風險會是怎樣的？考慮癌細胞影象識別的例子 3.出錯的可能情況 正常細胞 1錯分為異常 2，異常細胞...
模式識別 統計模式識別（7）
上兩節我們介紹了最小錯誤率和最小風險bayes分類器，接下來談談最小最大決策。1.問題提出 假設c 2 現在我們假定一種情況，先驗概率未知或者不確定的前提，在這種前提下，絕對意義的最小風險不存在，這種情況下我們怎麼求bayes分類器。2.求解思路 雖然p 1 和p 2 未知，但我們可以假設他們確定，...
c 實現K means聚類演算法（模式識別課設）
原理網上很多，我隨便找兩篇作為參考 原理介紹計算法實現 演算法質量提高分析 裡寫了很多注釋，就不解釋了 include using namespace std include include include include include ifstream fin 輸入檔案 ofstream fou...