聚類分析是沒有給定劃分類別的情況下，根據樣本相似度進行樣本分組的一種方法，是一種非監督的學習演算法。聚類的輸入是一組未被標記的樣本，聚類根據資料自身的距離或相似度劃分為若干組，劃分的原則是組內距離最小化而組間距離最大化，如下圖所示：
常見的聚類分析演算法如下：
k-means：k-均值聚類也稱為快速聚類法，在最小化誤差函式的基礎上將資料劃分為預定的類數k。該演算法原理簡單並便於處理大量資料。
k-中心點：k-均值演算法對孤立點的敏感性，k-中心點演算法不採用簇中物件的平均值作為簇中心，而選用簇中離平均值最近的物件作為簇中心。
系統聚類：也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的物件就越少，但這些物件間的共同特徵越多。該聚類方法只適合在小資料量的時候使用，資料量大的時候速度會非常慢。
下面我們詳細介紹k-means聚類演算法。
k-means聚類演算法
k-means演算法是典型的基於距離的非層次聚類演算法，在最小化誤差函式的基礎上將資料劃分為預定的類數k，採用距離作為相似性的評價指標，即認為兩個物件的距離越近，其相似度就越大。
演算法實現
選擇k個點作為初始質心
repeat
k如何確定
與層次聚類結合，經常會產生較好的聚類結果的乙個有趣策略是，首先採用層次凝聚演算法決定結果粗的數目，並找到乙個初始聚類，然後用迭代重定位來改進該聚類。
初始質心的選取
常見的方法是隨機的選取初始質心，但是這樣簇的質量常常很差。
(1)多次執行，每次使用一組不同的隨機初始質心，然後選取具有最小sse(誤差的平方和)的簇集。這種策略簡單，但是效果可能不好，這取決於資料集和尋找的簇的個數。
(2)取乙個樣本，並使用層次聚類技術對它聚類。從層次聚類中提取k個簇，並用這些簇的質心作為初始質心。該方法通常很有效，但僅對下列情況有效：樣本相對較小;k相對於樣本大小較小。
(3)取所有點的質心作為第乙個點。然後，對於每個後繼初始質心，選擇離已經選取過的初始質心最遠的點。使用這種方法，確保了選擇的初始質心不僅是隨機的，而且是散開的。但是，這種方法可能選中離群點。
距離的度量
常用的距離度量方法包括：歐幾里得距離和余弦相似度。歐幾里得距離度量會受指標不同單位刻度的影響，所以一般需要先進行標準化，同時距離越大，個體間差異越大;空間向量余弦夾角的相似度度量不會受指標刻度的影響，余弦值落於區間[-1,1]，值越大，差異越小。
質心的計算
對於距離度量不管是採用歐式距離還是採用余弦相似度，簇的質心都是其均值。
演算法停止條件
一般是目標函式達到最優或者達到最大的迭代次數即可終止。對於不同的距離度量，目標函式往往不同。當採用歐式距離時，目標函式一般為最小化物件到其簇質心的距離的平方和;當採用余弦相似度時，目標函式一般為最大化物件到其簇質心的余弦相似度和。
空聚類的處理
如果所有的點在指派步驟都未分配到某個簇，就會得到空簇。如果這種情況發生，則需要某種策略來選擇乙個替補質心，否則的話，平方誤差將會偏大。
(1)選擇乙個距離當前任何質心最遠的點。這將消除當前對總平方誤差影響最大的點。
(2)從具有最大sse的簇中選擇乙個替補的質心，這將**簇並降低聚類的總sse。如果有多個空簇，則該過程重複多次。
適用範圍及缺陷
k-menas演算法試圖找到使平方誤差準則函式最小的簇。當潛在的簇形狀是凸面的，簇與簇之間區別較明顯，且簇大小相近時，其聚類結果較理想。對於處理大資料集合，該演算法非常高效，且伸縮性較好。
但該演算法除了要事先確定簇數k和對初始聚類中心敏感外，經常以區域性最優結束，同時對「雜訊」和孤立點敏感，並且該方法不適於發現非凸面形狀的簇或大小差別很大的簇。
克服缺點的方法：使用盡量多的資料;使用中位數代替均值來克服outlier的問題。
下面我們用tsne(高維資料視覺化工具)對聚類結果進行視覺化
聚類效果圖如下：
下面我們用pca降維後，對聚類結果進行視覺化
聚類效果圖如下：
在scikit-learn中實現的聚類演算法主要包括k-means、層次聚類、fcm、神經網路聚類，其主要相關函式如下：
這些方法的使用大同小異，基本都是先用對應的函式建立模型，然後用fit()方法來訓練模型，訓練好之後，就可以用labels_屬性得到樣本資料的標籤，或者用predict()方法**新樣本的標籤。
聚類分析（一） 什麼是聚類分析
將一群物理物件或者抽象物件的劃分成相似的物件類的過程。其中類簇是資料物件的集合，在類簇中所有的物件都彼此相似，而類簇與類簇之間的物件是彼此相異。聚類除了可以用於資料分割 data segmentation 也可以用於離群點檢測 outlier detection 所謂的離群點指的是與 普通 點相對應...
聚類分析（一） 什麼是聚類分析
將一群物理物件或者抽象物件的劃分成相似的物件類的過程。其中類簇是資料物件的集合，在類簇中所有的物件都彼此相似，而類簇與類簇之間的物件是彼此相異。聚類除了可以用於資料分割 data segmentation 也可以用於離群點檢測 outlier detection 所謂的離群點指的是與 普通 點相對應...
聚類分析筆記
1.什麼是聚類 定義 將無力或抽象物件的集合分組成為由類似的物件組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組資料物件的集合，這些物件與同乙個簇中的物件彼此相似，與其他簇中的物件相異。與分類的區別，分類是有指導學習 類數目已知 聚類是無指導學習 類數目未知 典型應用 商務上，分析不同的客戶群，...