在標量、向量和矩陣的求導過程中一定要知道最後結果的形狀。
這裡總結幾個常見的求導形式：
前言：最基礎最重要的，標量對向量求導和向量對標量求導，有兩種方式，分子布局和分母布局，不同的方式都是對的，只是結果缺乙個轉置
1、矩陣乘以列向量，對列向量求導，形如 $\boldsymbol = \boldsymbol,$, 求$\frac}}$
假設$\boldsymbol\in \mathbb^,\boldsymbol\in \mathbb^$, 則$\boldsymbol\in \mathbb^$, 所以$\frac}}$ 是n維向量對m維向量求導，最後是乙個(n x m)的雅可比矩陣
2、行向量乘以矩陣，對行向量求導，形如$\boldsymbol = \boldsymbol, $, 其中$ \boldsymbol\in \mathbb^ \boldsymbol\in \mathbb^ $則$\boldsymbol\in \mathbb^$，所以$\frac}}$是m維行向量對n維行向量求導，結果是(m, n)維矩陣
z向量每乙個元素求解如下：$z_= \sum_^x_w_$,
$\left (\frac}} \right )_ = \frac}} = \sum_^w_\frac}} = w_$,所以
3、乙個向量對自己求導
4、對向量每乙個元素都施加的函式，對向量求導
如果 $\boldsymbol\in\mathbb^,$, 則$\boldsymbol\in\mathbb^,$, $\frac}}$是（n x n)的對角矩陣，對角元素為$\frac_}_}$, 乘以乙個對角矩陣可以寫成分別與每乙個元素相乘，即$\circ f^\left ( x \right )$
5、矩陣乘以列向量，最後的標量對矩陣求導
假設$\boldsymbol\in \mathbb^,\boldsymbol\in\mathbb^$, 則$\boldsymbol\in \mathbb^$ 是乙個 (n x 1)的向量對 (n x m)的向量求導，結果是 n * n * m維，為了避免求解這麼複雜的，可以計算$\frac}}$
$ \mathbf_= \sum_^w_x_$
$\frac_}} =\frac^w_x_}} = \sum_^x_\frac}}$ 當且僅當 k == i && l == j時，導數結果為 xj，當 k != i時，結果為0
這裡使用的是分子布局，所以
參考：
矩陣（向量）求導
在網上看到有人貼了如下求導公式 y a x dy dx a y x a dy dx a y a x b dy dx a b y a x b dy dx b a 1.矩陣y對標量x求導 相當於每個元素求導數後轉置一下，注意m n矩陣求導後變成n m了 y y ij dy dx dy ji dx 2.標...
矩陣（向量）求導
1.矩陣y對標量x求導 相當於每個元素求導數後轉置一下，注意m n矩陣求導後變成n m了 y y ij dy dx dy ji dx 2.標量y對列向量x求導 注意與上面不同，這次括號內是求偏導，不轉置，對n 1向量求導後還是n 1向量 y f x1,x2,xn dy dx dy dx1,dy dx...
向量轉置的怎麼求導 順序理解向量和矩陣求導
最首先需要明確，f a 對a求導，是將a視作了自變數，將f a 視作因變數。自變數的描述形式一般為n行1列的列向量或矩陣，因變數的描述形式一般為1行m列的行向量或矩陣！向量和矩陣求導的關鍵在於，找到自變數和因變數，並確定其維度！向量部分 所有推理的基礎，0 4節。矩陣部分 一句話，結果是超向量，完事...