k-均值聚類：將訓練集分成k個靠近彼此的不同樣本聚類。因此我們可以認為該演算法提供了k-維的one-hot編碼向量h以表示輸入x。當x屬於聚類i時，有hi=1，h的其它項為零。k-均值聚類提供的one-hot編碼也是一種稀疏表示，因為每個輸入的表示中大部分元素為零。one-hot編碼是稀疏表示的乙個極端示例，丟失了很多分布式表示的優點。one-hot編碼仍然有一些統計優點(自然地傳達了相同聚類中的樣本彼此相似的觀點)，也具有計算上的優勢，因為整個表示可以用乙個單獨的整數表示。
k-均值聚類初始化k個不同的中心點，然後迭代交換兩個不同的步驟直到收斂。步驟一，每個訓練樣本分配到最近的中心點μ(i)所代表的聚類i。步驟二，每乙個中心點μ(i)更新為聚類i中所有訓練樣本x(j)的均值。
關於聚類的乙個問題是聚類問題本身是病態的。這是說沒有單一的標準去度量聚類的資料在真實世界中效果如何。我們可以度量聚類的性質，例如類中元素到類中心點的歐幾里得距離的均值。這使我們可以判斷從聚類分配中重建訓練資料的效果如何。然而我們不知道聚類的性質是否很好地對應到真實世界的性質。此外，可能有許多不同的聚類都能很好地對應到現實世界的某些屬性。我們可能希望找到和乙個特徵相關的聚類，但是得到了乙個和任務無關的，同樣是合理的不同聚類。例如，假設我們在包含紅色卡車、紅色汽車、灰色卡車和灰色汽車的資料集上執行兩個聚類演算法。如果每個聚類演算法聚兩類，那麼可能乙個演算法將汽車和卡車各聚一類，另乙個根據紅色和灰色各聚一類。假設我們還執行了第三個聚類演算法，用來決定類別的數目。這有可能聚成了四類，紅色卡車、紅色汽車、灰色卡車和灰色汽車。現在這個新的聚類至少抓住了屬性的資訊，但是丟失了相似性資訊。紅色汽車和灰色汽車在不同的類中，正如紅色汽車和灰色卡車也在不同的類中。該聚類演算法沒有告訴我們灰色汽車和紅色汽車的相似度比灰色卡車和紅色汽車的相似度更高。我們只知道它們是不同的。這些問題說明了一些我們可能更偏好於分布式表示(相對於one-hot表示而言)的原因。分布式表示可以對每個車輛賦予兩個屬性----乙個表示它顏色，乙個表示它是汽車還是卡車。目前仍然不清楚什麼是最優的分布式表示(學習演算法如何知道我們關心的兩個屬性是顏色和是否汽車或卡車，而不是製造商和年齡？)，但是多個屬性減少了演算法去猜我們關心哪乙個屬性的負擔，允許我們通過比較很多屬性而非測試乙個單一屬性來細粒度地度量相似性。
k-均值演算法源於訊號處理中的一種向量量化方法，現在則更多地作為一種聚類分析方法流行於資料探勘領域。k-均值聚類的目的是：把n個點(可以是樣本的一次觀察或乙個例項)劃分到k個聚類中，使得每個點都屬於離它最近的均值(此即聚類中心)對應的聚類，以之作為聚類的標準。
k-均值聚類與k-近鄰演算法之間沒有任何關係。
k-均值聚類演算法描述：已知觀測集(x1,x2,…,xn)，其中每個觀測都是乙個d-維實向量，k-均值聚類要把這n觀測劃分到k個集合中(k≤n)，使得組內平方和(wcss within-cluster sum of squares)最小。換句話說，它的目標是找到使得下式滿足的聚類si：其中μi是si中所有點的均值。
k-均值聚類標準演算法：最常用的演算法使用迭代優化的技術。它被稱為k-均值演算法而廣為使用，有時也被稱為lloyd演算法(尤其在電腦科學領域)。已知初始化的k個均值點m1
(1),…,mk
(1)，演算法按照下面兩個步驟交替進行：
(1)、分配(assignment)：將每個觀測分配到聚類中，使得組內平方和(wcss)達到最小。因為這一平方和就是平方後的歐式距離，所以很直觀地把觀測分配到離它最近的均值點即可：
其中每個xp都只被分配到乙個確定的聚類st中，儘管在理論上它可能被分配到2個或者更多的聚類。
(2)、更新(update)：對於上一步得到的每乙個聚類，以聚類中觀測值的質心(centroids)作為新的均值點：
因為算術平均是最小二乘估計，所以這一步同樣減少了目標函式組內平方和(wcss)的值。這一演算法將在對於觀測的分配不再變化時收斂。由於交替進行的兩個步驟都會減少目標函式wcss的值，並且分配方案只有有限種，所以演算法一定會收斂於某一(區域性)最優解。注意：使用這一演算法無法保證得到全域性最優解。
這一演算法經常被描述為」把觀測按照距離分配到最近的聚類」。標準演算法的目標函式是組內平方和(wcss)，而且按照」最小二乘和」來分配觀測，確實是等價於按照最小歐氏距離來分配觀測的。如果使用不同的距離函式來代替(平方)歐氏距離，可能使得演算法無法收斂。然而，使用不同的距離函式，也能得到k-均值聚類的其他變體，如球體k-均值演算法和k-中心點演算法。
初始化方法：通常使用的初始化方法有forgy和隨機劃分(random partition)方法。forgy方法隨機地從資料集中選擇k個觀測作為初始的均值點；而隨機劃分方法則隨機地為每一觀測指定聚類，然後執行」更新(update)」步驟,即計算隨機分配的各聚類的中心，作為初始的均值點。forgy方法易於使得初始均值點散開，隨機劃分方法則把均值點都放到靠近資料集中心的地方。隨機劃分方法一般更適用於k-調和均值和模糊k-均值演算法。對於期望-最大化(em)演算法和標準k-均值演算法，forgy方法作為初始化方法的表現會更好一些。
這是乙個啟發式演算法，無法保證收斂到全域性最優解，並且聚類的結果會依賴於初始的聚類。又因為演算法的執行速度通常很快，所以一般都以不同的起始狀態執行多次來得到更好的結果。不過，在最差的情況下，k-均值演算法會收斂地特別慢。
注：把」分配」步驟視為」期望」步驟，把」更新」步驟視為」最大化步驟」，可以看到，這一演算法實際上是廣義期望--最大化演算法(gem)的乙個變體。
使得k-均值演算法效率很高的兩個關鍵特徵同時也被經常被視為它最大的缺陷：
(1)、聚類數目k是乙個輸入引數。選擇不恰當的k值可能會導致糟糕的聚類結果。這也是為什麼要進行特徵檢查來決定資料集的聚類數目了。
(2)、收斂到區域性最優解，可能導致」反直觀」的錯誤結果。
k-均值演算法的乙個重要的侷限性即在於它的聚類模型。這一模型的基本思想在於：得到相互分離的球狀聚類，在這些聚類中，均值點趨向收斂於聚類中心。 一般會希望得到的聚類大小大致相當，這樣把每個觀測都分配到離它最近的聚類中心(即均值點)就是比較正確的分配方案。k-均值聚類的結果也能理解為由均值點生成的voronoi cells。
k-均值聚類(尤其是使用如lloyd's演算法的啟發式方法的聚類)即使是在巨大的資料集上也非常容易部署實施。正因為如此，它在很多領域都得到的成功的應用，如市場劃分、機器視覺、 地質統計學、天文學和農業等。它經常作為其他演算法的預處理步驟，比如要找到乙個初始設定。
在(半)監督學習或無監督學習中，k-均值聚類被用來進行特徵學習(或字典學習)步驟。基本方法是，首先使用輸入資料訓練出乙個k-均值聚類表示，然後把任意的輸入資料投射到這一新的特徵空間。 k-均值的這一應用能成功地與自然語言處理和計算機視覺中半監督學習的簡單線性分類器結合起來。在物件識別任務中，它能展現出與其他複雜特徵學習方法(如自動編碼器、受限boltzmann機等)相當的效果。然而，相比複雜方法，它需要更多的資料來達到相同的效果，因為每個資料點都只貢獻了乙個特徵(而不是多重特徵)。
k-means演算法概要：來自 酷 殼 – coolshell ，因為表述的很形象，所以在這裡引用下
以上內容主要摘自：《深度學習中文版》 和 維基百科
github：
K 均值聚類
剛剛寫了篇分級聚類的，趁著餘熱，再寫一下關於k 均值聚類的。為了突出k 均值聚類的特點，先黑一下分級聚類。跟k 均值聚模擬起來，分級聚類演算法有一下缺點 第一，的那個沒有額外投入的時候，樹形試圖是不會真正將資料拆分成不同組的。第二，分級聚類的計算演算法計算量相當大。當兩個節點合併之後，節點之間的距離...
k均值聚類
k均值聚類就是利用歐氏距離的度量將距離相近的樣本分為k類 a.假設有m個樣本，首先隨機選擇k個樣本作為聚類的質心 要分成k類 b.然後對於每個樣本，計算它到每個質心的距離，將它歸類於距離最小的那個質心 c.接著對初步分類的k個類別重新計算該類的質心，也就是對每個類別的樣本座標求平均 d.重複 b 步...
k均值聚類演算法
輸入 簇的數目k和包含n個物件的資料庫。輸出 k個簇，使平方誤差準則最小。演算法步驟 1.為每個聚類確定乙個初始聚類中心，這樣就有k 個初始聚類中心。2.將樣本集中的樣本按照最小距離原則分配到最鄰近聚類 3.使用每個聚類中的樣本均值作為新的聚類中心。4.重複步驟2.3直到聚類中心不再變化。5.結束，...