請思考：
維度為m的乙個向量?對乙個標量?的求導，那麼結果也是乙個m維的向量：∂?/∂?。這個m維的求導結果排列成的m維向量到底應該是列向量還是行向量？
這個問題的答案是：
行向量或者列向量皆可！畢竟我們求導的本質只是把標量求導的結果排列起來，至於是按行排列還是按列排列都是可以的。但是這樣也有問題，在我們機器學習演算法法優化過程中，如果行向量或者列向量隨便寫，那麼結果就不唯一，亂套了。
為了解決矩陣向量求導的結果不唯一，我們引入求導布局。最基本的求導布局有兩個：分子布局(numerator layout)和分母布局(denominator layout )。對於分子布局來說，我們求導結果的維度以分子為主，比如對於我們上面對標量求導的例子，結果的維度和分子的維度是一致的。對於分母布局來說，我們求導結果的維度以分母為主。
但是在機器學習演算法原理的資料推導裡，我們並沒有看到說正在使用什麼布局，也就是說布局被隱含了，這就需要自己去推演，比較麻煩。但是一般來說我們會使用一種叫混合布局的思路，即如果是向量或者矩陣對標量求導，則使用分子布局為準，如果是標量對向量或者矩陣求導，則以分母布局為準。對於向量對對向量求導，有些分歧，按分子布局的向量對向量求導的結果矩陣，我們一般叫做雅克比 (jacobian)矩陣。按分母布局的向量對向量求導的結果矩陣，我們一般叫做梯度矩陣。
向量轉置的怎麼求導 機器學習入門之矩陣求導（一）
矩陣求導可以說是機器學習的門檻了，阻擋了很多人，另外不知道為啥矩陣求導屬於科目的三不管地帶，每科老師都預設你已經會矩陣求導了，都不會專門教你。很多人看不懂西瓜書就是因為看不懂裡面的矩陣求導部分，用西瓜書來入門機器學習可以說是乙個坑了，讓很多人無法對機器學習產生興趣，這其實違背了教育的初衷。雖然有南瓜...
機器學習中的矩陣向量求導 一 求導定義與求導布局
在之前寫的上百篇機器學習部落格中，不時會使用矩陣向量求導的方法來簡化公式推演，但是並沒有系統性的進行過講解，因此讓很多朋友迷惑矩陣向量求導的具體過程為什麼會是這樣的。這裡準備用幾篇博文來討論下機器學習中的矩陣向量求導，今天是第一篇。本系列主要參考文獻為維基百科的matrix caculas和張賢達的...
向量轉置的怎麼求導 機器學習中的向量求導和矩陣求導
首發於 首先，在機器學習中，對於研究經常需要用到的標量 向量 矩陣的求導，我們約定分子使用 根據上面的約定，我們研究一下五個分類 標號1 標號5對應後續標題 如下 上面的 表示我們主要討論的6個種類，對於矩陣對向量的求導 向量對矩陣的求導 矩陣對矩陣的求導 不予考慮。在機器學習中，我們預設向量用列向...