矩陣的 frobenius 範數及其求偏導法則
2023年06月06日 22:53:58
閱讀數：14391
1. 複雜矩陣問題求導方法：可以從小到大，從scalar到vector再到matrix
4. 矩陣求導計算法則
求導公式(撇號為轉置）：
y = a * x –> dy/dx = a』
y = x * a –> dy/dx = a
y = a』 * x * b –> dy/dx = a * b』
y = a』 * x』 * b –> dy/dx = b * a』
乘積的導數：
d(f*g)/dx=(df』/dx)g+(dg/dx)f』
矩陣y對標量x求導：
相當於每個元素求導數後轉置一下，注意m×n矩陣求導後變成n×m了
y = [y(ij)]–> dy/dx = [dy(ji)/dx]
標量y對列向量x求導：
注意與上面不同，這次括號內是求偏導，不轉置，對n×1向量求導後還是n×1向量
y = f(x1,x2,..,xn) –> dy/dx= (dy/dx1,dy/dx2,..,dy/dxn)』
行向量y』對列向量x求導：
注意1×m向量對n×1向量求導後是n×m矩陣。
將y的每一列對x求偏導，將各列構成乙個矩陣。
重要結論：
dx』/dx =i
d(ax)』/dx =a』
列向量y對行向量x』求導：
轉化為行向量y』對列向量x的導數，然後轉置。
注意m×1向量對1×n向量求導結果為m×n矩陣。
dy/dx』 =(dy』/dx)』
向量積對列向量x求導運算法則：
注意與標量求導有點不同。
d(uv』)/dx =(du/dx)v』 + u(dv』/dx)
d(u』v)/dx =(du』/dx)v + (dv』/dx)u』
重要結論：
d(x』a)/dx =(dx』/dx)a + (da/dx)x』 = ia + 0x』 = a
d(ax)/dx』 =(d(x』a』)/dx)』 = (a』)』 = a
d(x』ax)/dx =(dx』/dx)ax + (d(ax)』/dx)x = ax + a』x
矩陣y對列向量x求導：
將y對x的每乙個分量求偏導，構成乙個超向量。
注意該向量的每乙個元素都是乙個矩陣。
矩陣積對列向量求導法則：
d(uv)/dx =(du/dx)v + u(dv/dx)
d(uv)/dx =(du/dx)v + u(dv/dx)
重要結論：
d(x』a)/dx =(dx』/dx)a + x』(da/dx) = ia + x』0 = a
標量y對矩陣x的導數：
類似標量y對列向量x的導數，
把y對每個x的元素求偏導，不用轉置。
dy/dx = [dy/dx(ij) ]
重要結論：
y = u』xv= σσu(i)x(ij)v(j) 於是 dy/dx = [u(i)v(j)] =uv』
y = u』x』xu 則dy/dx = 2xuu』
y =(xu-v)』(xu-v) 則 dy/dx = d(u』x』xu - 2v』xu + v』v)/dx = 2xuu』 - 2vu』 +0 = 2(xu-v)u』
矩陣y對矩陣x的導數：
將y的每個元素對x求導，然後排在一起形成超級矩陣。
10.乘積的導數
d(f*g)/dx=(df』/dx)g+(dg/dx)f』
結論 d(x』ax)=(d(x」)/dx)ax+(d(ax)/dx)(x」)=ax+a』x （注意：」是表示兩次轉置）
矩陣求導 屬於 矩陣計算，應該查詢 matrix calculus 的文獻：
frobenius範數 第九課 矩陣的範數
在所有的數學思想中，歸納和演繹永遠都是站在舞台中最光鮮的位置。我們上一節介紹了向量 的範數之後，這一節就來介紹矩陣的範數。我們可以看成向量是特殊的矩陣，矩陣是推廣了的 向量。矩陣滿足線性空間的8條性質，所以我們可以說矩陣是線性空間。同樣的我們可以驗證向量也 滿足線性空間的要求，這是矩陣和向量的共性。...
矩陣的 Frobenius 範數及其求偏導法則
前言 由於在sparse coding模型中求系統代價函式偏導數時需要用到矩陣的範數求導，這在其它模型中應該也很常見，比如說對乙個矩陣內的元素值進行懲罰，使其值不能過大，則可以使用f範數 下面將介紹 約束，查閱了下矩陣範數求導的相關資料，本節就簡單介紹下。首先，網路上有大把的人把2範數和f 2時的範...
矩陣的 Frobenius 範數及其求偏導法則
原文 矩陣的跡求導法則 1.複雜矩陣問題求導方法 可以從小到大，從scalar到vector再到matrix 4.矩陣求導計算法則 求導公式 撇號為轉置 y a x dy dx a y x a dy dx a y a x b dy dx a b y a x b dy dx b a 乘積的導數 d f...