** www.cnblogs.com/pinard/p/6164214.html ，有刪改
k-means演算法的思想很簡單，對於給定的樣本集，按照樣本之間的距離大小，將樣本集劃分為k個簇(cluster)。讓簇內的點盡量緊密的連在一起，而讓簇間的距離盡量的大。
如果用資料表示式表示，假設簇劃分為(c1,c2,...ck)，則我們的目標是最小化平方誤差e：
其中μi是簇ci的均值向量，有時也稱為質心，表示式為 ：
如果我們想直接求上式的最小值並不容易，這是乙個np難的問題，因此只能採用啟發式的迭代方法。
k-means採用的啟發式方式很簡單，用下面一**就可以形象的描述。
上圖a表達了初始的資料集，假設k=2。在圖b中，我們隨機選擇了兩個k類所對應的類別質心，即圖中的紅色質心和藍色質心，然後分別求樣本中所有點到這兩個質心的距離，並標記每個樣本的類別為和該樣本距離最小的質心的類別，如圖c所示，經過計算樣本和紅色質心和藍色質心的距離，我們得到了所有樣本點的第一輪迭代後的類別。此時我們對我們當前標記為紅色和藍色的點分別求其新的質心，如圖4所示，新的紅色質心和藍色質心的位置已經發生了變動。圖e和圖f重複了我們在圖c和圖d的過程，即將所有點的類別標記為距離最近的質心的類別並求新的質心。最終我們得到的兩個類別如圖f。
當然在實際k-mean演算法中，我們一般會多次執行圖c和圖d，才能達到最終的比較優的類別。
在上一節我們對k-means的原理做了初步的**，這裡我們對k-means的演算法做乙個總結。
首先我們看看k-means演算法的一些要點。
1）對於k-means演算法，首先要注意的是k值的選擇，一般來說，我們會根據對資料的先驗經驗選擇乙個合適的k值，如果沒有什麼先驗知識，則可以通過交叉驗證選擇乙個合適的k值。
2）在確定了k的個數後，我們需要選擇k個初始化的質心，就像上圖b中的隨機質心。由於我們是啟發式方法，k個初始化的質心的位置選擇對最後的聚類結果和執行時間都有很大的影響，因此需要選擇合適的k個質心，最好這些質心不能太近。
好了，現在我們來總結下傳統的k-means演算法流程。
輸入是樣本集d=, 聚類的簇樹k, 最大迭代次數n
輸出是簇劃分c=
1) 從資料集d中隨機選擇k個樣本作為初始的k個質心向量：
2）對於n=1,2,...,n
a) 將簇劃分c初始化為ct=∅t=1,2...k
b) 對於i=1,2...m,計算樣本xi和各個質心向量μj(j=1,2,...k)的距離：dij=||xi−μj||22，將xi標記最小的為dij所對應的類別λi。此時更新cλi=cλi∪
c) 對於j=1,2,...,k,對cj中所有的樣本點重新計算新的質心μj=1|cj|∑x∈cjx
e) 如果所有的k個質心向量都沒有發生變化，則轉到步驟3）
3） 輸出簇劃分c=
在上節我們提到，k個初始化的質心的位置選擇對最後的聚類結果和執行時間都有很大的影響，因此需要選擇合適的k個質心。如果僅僅是完全隨機的選擇，有可能導致演算法收斂很慢。k-means++演算法就是對k-means隨機初始化質心的方法的優化。
k-means++的對於初始化質心的優化策略也很簡單，如下：
a) 從輸入的資料點集合中隨機選擇乙個點作為第乙個聚類中心μ1
b) 對於資料集中的每乙個點xi，計算它與已選擇的聚類中心中最近聚類中心的距離 d(xi)=argmin||xi−μr||22r=1,2,...k selected
c) 選擇乙個新的資料點作為新的聚類中心，選擇的原則是：d(x)較大的點，被選取作為聚類中心的概率較大
d) 重複b和c直到選擇出k個聚類質心
e) 利用這k個質心來作為初始化質心去執行標準的k-means演算法
在傳統的k-means演算法中，我們在每輪迭代時，要計算所有的樣本點到所有的質心的距離，這樣會比較的耗時。那麼，對於距離的計算有沒有能夠簡化的地方呢？elkan k-means演算法就是從這塊入手加以改進。它的目標是減少不必要的距離的計算。那麼哪些距離不需要計算呢？
elkan k-means利用了兩邊之和大於等於第三邊,以及兩邊之差小於第三邊的三角形性質，來減少距離的計算。
第一種規律是對於乙個樣本點xx和兩個質心μj1,μj2μj1,μj2。如果我們預先計算出了這兩個質心之間的距離d(j1,j2)d(j1,j2)，則如果計算發現2d(x,j1)≤d(j1,j2)2d(x,j1)≤d(j1,j2),我們立即就可以知道d(x,j1)≤d(x,j2)d(x,j1)≤d(x,j2)。此時我們不需要再計算d(x,j2)d(x,j2),也就是說省了一步距離計算。
第二種規律是對於乙個樣本點xx和兩個質心μj1,μj2μj1,μj2。我們可以得到d(x,j2)≥maxd(x,j2)≥max。這個從三角形的性質也很容易得到。
利用上邊的兩個規律，elkan k-means比起傳統的k-means迭代速度有很大的提高。但是如果我們的樣本的特徵是稀疏的，有缺失值的話，這個方法就不使用了，此時某些距離無法計算，則不能使用該演算法。
在統的k-means演算法中，要計算所有的樣本點到所有的質心的距離。如果樣本量非常大，比如達到10萬以上，特徵有100以上，此時用傳統的k-means演算法非常的耗時，就算加上elkan k-means優化也依舊。在大資料時代，這樣的場景越來越多。此時mini batch k-means應運而生。
顧名思義，mini batch，也就是用樣本集中的一部分的樣本來做傳統的k-means，這樣可以避免樣本量太大時的計算難題，演算法收斂速度大大加快。當然此時的代價就是我們的聚類的精確度也會有一些降低。一般來說這個降低的幅度在可以接受的範圍之內。
在mini batch k-means中，我們會選擇乙個合適的批樣本大小batch size，我們僅僅用batch size個樣本來做k-means聚類。那麼這batch size個樣本怎麼來的？一般是通過無放回的隨機取樣得到的。
為了增加演算法的準確性，我們一般會多跑幾次mini batch k-means演算法，用得到不同的隨機取樣集來得到聚類簇，選擇其中最優的聚類簇。
初學者很容易把k-means和knn搞混，兩者其實差別還是很大的。
k-means是無監督學習的聚類演算法，沒有樣本輸出；而knn是監督學習的分類演算法，有對應的類別輸出。knn基本不需要訓練，對測試集裡面的點，只需要找到在訓練集中最近的k個點，用這最近的k個點的類別來決定測試點的類別。而k-means則有明顯的訓練過程，找到k個類別的最佳質心，從而決定樣本的簇類別。
當然，兩者也有一些相似點，兩個演算法都包含乙個過程，即找出和某乙個點最近的點。兩者都利用了最近鄰(nearest neighbors)的思想。
k-means是個簡單實用的聚類演算法，這裡對k-means的優缺點做乙個總結。
k-means的主要優點有：
1）原理比較簡單，實現也是很容易，收斂速度快。
2）聚類效果較優。
3）演算法的可解釋度比較強。
4）主要需要調參的引數僅僅是簇數k。
k-means的主要缺點有：
1）k值的選取不好把握
2）對於不是凸的資料集比較難收斂
3）如果各隱含類別的資料不平衡，比如各隱含類別的資料量嚴重失衡，或者各隱含類別的方差不同，則聚類效果不佳。
4）採用迭代方法，得到的結果只是區域性最優（而非全域性最優！）。
5） 對噪音和異常點比較的敏感。
6) k均值演算法並不適合所有的資料型別。它不能處理非球形簇、不同尺寸和不同密度的簇。
K Means聚類演算法
k means聚類演算法 intergret kmeans演算法的基本思想是初始隨機給定k個簇中心，按照最鄰近原則把待分類樣本點分到各個簇。然後按平均法重新計算各個簇的質心，從而確定新的簇心。一直迭代，直到簇心的移動距離小於某個給定的值。k means聚類演算法主要分為三個步驟 1 第一步是為待聚類...
聚類演算法 K means
演算法接受引數 k 然後將事先輸入的n個資料物件劃分為 k個聚類以便使得所獲得的聚類滿足 同一聚類中的物件相似度較高 而不同聚類中的物件相似度較小。聚類相似度是利用各聚類中物件的均值所獲得乙個 中心物件 引力中心 來進行計算的。k means演算法是最為經典的基於劃分的聚類方法，是十大經典資料探勘演...
k means聚類演算法
說到聚類，得跟分類區別開來，分類是按人為給定的標準將樣本歸到某個類別中去，在機器學習中多是監督學習，也就是訓練樣本要給標籤 正確的類別資訊 而聚類是在某種規則下自動將樣本歸類，在機器學習中是無監督學習，不需要提前給樣本打標籤。k means聚類演算法，就是在某種度量方式下，將樣本自動劃分到k個類別中...