手寫LVQ（學習向量量化）聚類演算法

lvq聚類與k-means不同之處在於，它是有標記的聚類。

基本思想：初始化q個原型向量（q代表需要聚類的類別數），每個原型向量也初始化其標籤（標籤與樣本標籤取值範圍相同），如果原型向量的標籤與某樣本標籤相同/不同，則使用兩者間距離更新原型向量（相同時靠近更新，不同時遠離更新）。因此，原型向量將反映乙個標籤的樣本與其他標籤的樣本間的「邊界」。訓練完畢後，根據樣本到原型向量的距離，對樣本進行團簇劃分。

缺點：因為一般使用歐氏距離，各特徵的權重是相同的，無法反映不同特徵的重要性差異。

#
學習向量量化lvq：有標記的聚類
import
numpy as np
import random
defdis(x,y):
return np.sqrt(np.sum(np.power(x[:-1]-y[:-1],2)))
#lvq演算法
def lvq(data,labels,k=4,lr=0.01,epochs=1000,delta=1e-3):
'''data:np.array,last feature is the label.
labels:1-dimension list or array,label of the data.
k:num_group
lr:learning rate
epochs:max epoch to stop running earlier
delta: max distance for two vectors to be 'equal'.
'''#
學習向量
q=np.empty(shape=(k,data.shape[-1]),dtype=np.float32)
#確認是否所有向量更新完了
all_vectors_updated=np.empty(shape=(k,),dtype=np.bool)
num_labels=len(labels)
#初始化原型向量，從每一類中隨機選取樣本，如果類別數小於聚類數，迴圈隨機取各類別中的樣本
for i in
range(k):
q[i]=random.choice(data[data[:,-1]==labels[i%num_labels]])
step=0
while
not all_vectors_updated.all() and step
#從樣本中隨機選取樣本，書上是這麼寫的，為啥不迴圈，要隨機呢？np.random的choice只支援一維
x=random.choice(data)
min_dis=np.inf
index=0
for i in
range(k):
distance=dis(x,q[i])
if distance
min_dis=distance
index=i
#儲存更新前向量
temp_q=q[index].copy()
#如果標籤相同，則q更新後接近樣本x，否則遠離
if x[-1]==q[index][-1]:
q[index][:-1]=q[index][:-1]+lr*(x[:-1]-q[index][:-1])
else
:            q[index][:-1]=q[index][:-1]-lr*(x[:-1]-q[index][:-1])
#更新記錄陣列
if dis(temp_q,q[index])
all_vectors_updated[index]=true
step+=1
#訓練完後，樣本劃分到最近的原型向量簇中
categoried_data=
for i in
range(k):
for item in
data:
min_dis=np.inf
index=0
for i in
range(k):
distance=dis(item,q[i])
if distance
min_dis=distance
index=i
return
q,categoried_data

先看看原始資料分布：

這裡執行了2次，可以看出與k-means一樣，對初值敏感

根據上圖可以看出，聚類的效果是在標記的前提下進行的，即團簇是很少跨過分類邊界y=x的。相當於對每乙個類別，進行了細分。因為每次訓練根據乙個樣本更新，epochs應該設定大一點。

手寫LVQ（學習向量量化）聚類演算法

LVQ學習向量量化

機器學習之學習向量量化 LVQ

學習向量量化

手寫LVQ（學習向量量化）聚類演算法

LVQ學習向量量化

機器學習之學習向量量化 LVQ

學習向量量化

相關推薦