求導公式(撇號為轉置):
於是把以前學過的矩陣求導部分整理一下:
1. 矩陣y對標量x求導:
相當於每個元素求導數後轉置一下,注意m×n矩陣求導後變成n×m了
y = [y(ij)]--> dy/dx = [dy(ji)/dx]
2. 標量y對列向量x求導:
注意與上面不同,這次括號內是求偏導,不轉置,對n×1向量求導後還是n×1向量
y = f(x1,x2,..,xn) --> dy/dx= (dy/dx1,dy/dx2,..,dy/dxn)'
3. 行向量y'對列向量x求導:
注意1×m向量對n×1向量求導後是n×m矩陣。
將y的每一列對x求偏導,將各列構成乙個矩陣。
重要結論:
dx'/dx =i
d(ax)'/dx =a'
4. 列向量y對行向量x』求導:
轉化為行向量y』對列向量x的導數,然後轉置。
注意m×1向量對1×n向量求導結果為m×n矩陣。
dy/dx' =(dy'/dx)'
5. 向量積對列向量x求導運算法則:
注意與標量求導有點不同。
d(uv')/dx =(du/dx)v' + u(dv'/dx)
d(u'v)/dx =(du'/dx)v + (dv'/dx)u'
重要結論:
d(x'a)/dx =(dx'/dx)a + (da/dx)x' = ia + 0x' = a
d(ax)/dx' =(d(x'a')/dx)' = (a')' = a
d(x'ax)/dx =(dx'/dx)ax + (d(ax)'/dx)x = ax + a'x
6. 矩陣y對列向量x求導:
將y對x的每乙個分量求偏導,構成乙個超向量。
注意該向量的每乙個元素都是乙個矩陣。
7. 矩陣積對列向量求導法則:
d(uv)/dx =(du/dx)v + u(dv/dx)
d(uv)/dx =(du/dx)v + u(dv/dx)
重要結論:
d(x'a)/dx =(dx'/dx)a + x'(da/dx) = ia + x'0 = a
8. 標量y對矩陣x的導數:
類似標量y對列向量x的導數,
把y對每個x的元素求偏導,不用轉置。
dy/dx = [dy/dx(ij) ]
重要結論:
y = u'xv= σσu(i)x(ij)v(j) 於是 dy/dx = [u(i)v(j)] =uv'
y = u'x'xu 則dy/dx = 2xuu'
y =(xu-v)'(xu-v) 則 dy/dx = d(u'x'xu - 2v'xu + v'v)/dx = 2xuu' - 2vu' +0 = 2(xu-v)u'
9. 矩陣y對矩陣x的導數:
將y的每個元素對x求導,然後排在一起形成超級矩陣。
10.乘積的導數
d(f*g)/dx=(df'/dx)g+(dg/dx)f'
結論d(x'ax)=(d(x'')/dx)ax+(d(ax)/dx)(x'')=ax+a'x (注意:''是表示兩次轉置)
矩陣求導 屬於 矩陣計算,應該查詢 matrix calculus 的文獻:
轉型雲資料中心成趨勢 其中有哪些好處?
雲資料中心是一種基於雲計算架構的,計算 儲存及網路資源松耦合,完全虛擬化各種it裝置 模組化程度較高 自動化程度較高的新型資料中心。隨著雲計算和數位化的推進,雲資料中心的發展勢頭高歌猛進,每年的增速超過40 從傳統資料中心到雲資料中心是乙個漸進的過程。進入乙個雲資料中心,除了規模化 集中程度更高,可...
輸入一行字元,統計其中有多少個單詞
0 是字串的結束符,任何字串之後都會自動加上 0 初始時定義乙個有100個char型字元儲存空間的陣列,使用gets 函式輸入一行字串,儲存在前面定義的陣列中。之後由於不清楚陣列裡有多少個字元被占用,所以使用while迴圈,只要當前陣列元素不是 0 就執行迴圈內容。定義乙個word變數,初始化為1。...
矩陣求導公式 預備知識 矩陣求導
在優化中,面對的大都是多變數問題。針對多變數問題,為了表示公式和編寫 的方便,往往都用矩陣表示。而優化中,求導往往又是家常便飯,因此對於矩陣求導需要有熟練地掌握,不然很多時候會對一些演算法十分頭暈,編寫程式時也會不知所措。因為我就是這麼暈過來的 捂臉 好了,現在開始步入正文 1.矩陣對標量求導 如果...