在學習張賢達老師的《矩陣分析與應用》時，遇到了矩陣求導這一問題。之前從來沒接觸過這一概念，閱讀資料也是花費了不少時間，因此將學習的筆記總結到這裡，方便日後溫習。
圖1是目錄中第五章的部分內容，因為本人目前在研究無約束最優化的問題，故只選取了前三節進行學習閱讀。
圖1 無約束最優化目錄
首先考慮乙個最簡單的優化問題。常規的優化問題中都是希望尋找乙個最值，但是實際問題中很難比較全部的點，因此常常去尋找區域性的極值作為某鄰域取值的最小值。
雖然鄰域內的值雖然比全域性有所減少，但是通過區域性極小點
滿足一階導數被稱為梯度函式。
此外還提及凸函式、嚴格凸函式的定義。凸目標函式的區域性極小點就是全域性極小點。
極小點、區域性極小點、全域性極小點的概念都可推廣至向量域。
梯度的負方向稱為變元的梯度流。
實值函式f(x)對行向量的梯度如下：
m維行向量函式對列向量x的梯度為：
列向量對行向量求導(雅克比矩陣)：
若
常用的一些梯度公式法則：常數梯度為0，線性法則，乘積法則，商法則，鏈式法則。
矩陣導數可以利用矩陣微分計算。矩陣微分也可以用來求標量函式的梯度矩陣，標量函式包括向量的標量函式、矩陣的標量函式（跡、行列式）。
無約束最優化二
2.1 a k合理性討論 如下將要討論關於a k需要滿足的兩個條件，當a k滿足這兩個條件後，就可以認為從x k點移動到x k 1點的步長已經確定下來了。第乙個條件為sufficient decrease condition，從直觀角度來看，該條件主要要用保證x k 1點的函式值要小於x k點的函式...
無約束最優化三
2.2 a k步長的選擇 了解了a k的合理性之後，就相當於獲得了標尺，在此基礎上我們可以選擇合適的策略來求取a k。所有的line search過程在計算每一步的a k時，均需要提供乙個初始點a 0，然後再此基礎上生成一系列的，直到a i滿足2.1節所規定的條件為止，此時該a k即被確定為a i，...
無約束最優化四
3 quasi newton method 在第2節中我們了解了步長的概念，以及從x k走到x k 1點使用line search方法計算步長的方法。不過我們在那裡忽略了乙個重要的概念，即 方向 從第2節，我們了解到從每一點x k走到下一點x k 1時，需要給出要走的 方向 只有 方向 確定好之後，...