一般的矩陣分解,分解的矩陣有正有負。
很多實際應用中,負數沒有意義,如文字等等。
nmf中要求原矩陣和分解後矩陣都為非負矩陣,這個分解存在唯一。
引入稀疏,區域性計算。
以人臉識別為例:
v ∈r
+n×m
v\in r_+^
v∈r+n×
mm張臉,每張圖n個畫素
w ∈r
+n×r
w\in r_+^
w∈r+n×
r基矩陣,每一列為乙個基
h ∈r
+r×m
h\in r_+^
h∈r+r×
m係數矩陣,即為v中的臉一一對應的編碼
v ≈w
h=∑a
=1rw
iaha
jv≈
wh=a
=1∑r
wia
haj
我們的目標
r的選擇一般滿足 (m+
n)
r
(m+n)r(m
+n)r
r太大,過擬合,模型複雜
r太小,欠擬合
非負矩陣分解(nmf)簡介 - 知乎專欄
基於乘法更新發展的迭代更新演算法
初始**:與pca相比,pca去除子成分,nmf疊加子成分。
人臉識別中,nmf用一組代表不同部位的基影象表示臉
對比vq
pcanmf
特點w為聚類而成的基影象
w的列和h的行都是正交的
w和h非負
基影象聚類取原資料最有代表性的
基正交基非負稀疏
稀疏性單元:只有乙個非零元,過於稀疏
全域性:相當於vq的鬆弛,但用了所有基影象,過於稠密
區域性:相當於前兩者折中,只用部分基影象表達
解釋性非負
存在負數,解釋性差
非負且提取區域性特徵,解釋性好
nmf 非負矩陣分解 – 原理與應用
(上文很多來自wiki)
史丹福大學機器學習筆記——推薦系統(協同過濾、低秩分解、推薦系統)
推薦系統
假設通過學習,我們找到每個使用者j
jj對不同特徵的喜愛程度,即引數θ(j
)\theta^
θ(j)
則**該使用者對電影i
ii的打分,x(i
)x^
x(i)
為其特徵向量,分數為(θ(
j))t
x(i)
(\theta^)^tx^
(θ(j))
tx(i
)所以我們的優化目標基於已知的打分y(i
,j)y^
y(i,j)
(r (i
,j)=
1r(i,j)=1
r(i,j)
=1表示已知打分)來學習引數,以**未知打分
梯度下降訓練
協同過濾
已知使用者對不同特徵電影的喜好(學習到的引數)、評分,求電影的特徵向量
沒有引數也沒有特徵向量時——協同過濾。梯度下降求解
低秩矩陣分解就是協同過濾的向量化(矩陣化)
非負矩陣分解 NMF 簡介
非負矩陣分解,顧名思義就是,將非負的大矩陣分解成兩個非負的小矩陣。回顧矩陣分解本身,在 公式 1 中的v是乙個n m維的矩陣,其中每一列就是 那麼非負和其它的有什麼不同呢?下面我就盜一張圖來直觀地展示幾種矩陣分解方法的效果差異。出自lee and seung 1999 圖中就對比了三種方法的區別。v...
python 非負矩陣分解 NMF
非負矩陣分解是矩陣中所有元素均為非負數約束條件下的矩陣分解,其基本思想 給定乙個非負矩陣v,nmf能夠找到乙個非負矩陣w和乙個非負矩陣h,使得矩陣w和矩陣h的乘積近似等於矩陣v中的值。h矩陣 係數矩陣 nmf廣泛應用於影象分析,文字挖掘和語音處理鄰域。nmf矩陣分解優化目標 最小化w矩陣h矩陣的乘積...
矩陣低秩張量分解 基於模態特定因子的低秩多模態融合
為了解決基於張量的多模態融合方法計算效率差的問題,文章提出了一種低秩多模態融合的方法 low rank multimodal fusion,lmf 的方法。通過將張量和權重並行分解,利用模態特定的低階因子來執行多模態融合。避免計算高維的張量,降低了記憶體開銷,將指數級的時間複雜度降低到了線性。文章提...