總結：
①數學知識：
非約束優化：梯度下降，牛頓法； （
等式約束： 1.非嚴格滿足等式約束：自己設定懲罰函式係數大小。 （
2.嚴格滿足等式約束：拉格朗日乘子法。
不等式約束： 1.只要滿足kkt條件(karush–kuhn–tucker conditions)，依然可以使用拉格朗日乘子法解決 （
2.內點法
除了以上的數值優化知識，數值優化問題還可以借助於蟻群演算法，遺傳演算法等智慧型方法。
②工具：
1.（不論是非約束或者帶約束的問題，都可以借助matlab函式解決：
）
1.凸優化，機器學習基礎部落格以及資料：
①凸優化基礎知識+mesh deformation:
《matlab優化演算法》--張岩 吳水根。 講了matlab優化的api以及具體不同演算法的matlab實現,數學以及**實戰，不錯。
--matlab 有約束與無約束優化求解 optimization
--matlab優化求解綜述
--matlab優化求解在colormap實戰
2.好的數學知識書籍資料：
③矩陣分析與應用（第二版）--張賢達 。 尤其是裡面的（帶不等式及等式約束的）凸優化（拉格朗日法，牛頓法，內點法等）（迭代求解思想，化有約束為無約束的化繁為簡的思想）；超定，欠定，普通方程組等求解方法
④數值優化，高等數學，線性代數，概率論，離散數學等基礎數學
（em演算法以及smo演算法：
機器學習 數學 機器學習涉及的數學知識
簡單總結 機器學習涉及的數學知識有 線性代數，概率論和統計學，多變數微積分，演算法和複雜優化，以及其他等。原文 在過去幾個月裡，有幾個人聯絡過我，說他們渴望進軍資料科學領域，使用機器學習 ml 技術探索統計規律，並打造資料驅動的完美產品。但是，據我觀察，一些人缺乏必要的數學直覺和框架，無法獲得有用的...
機器學習及其數學知識 知識星球
為什麼要加入付費知識星球?每一條都是精心篩選，用心編輯，為您節約時間 邀請了在各個領域比較優秀的朋友做嘉賓 利物浦博士，gdg組織者，ibm資料科學家，前阿里演算法工程師 阿里nlp演算法工程師，美國前十理工院校碩士，實現物理到cs的華麗轉身 十年經驗的c 資深工程師，方向是計算機視覺，人體姿態 付...
機器學習需要這些數學知識
放假在家想寫寫機器學習系列的文章，除夕前先來開個頭，後面會一直寫下去，搞機器學習演算法也有一年多了，體會多少還是有一些的，這裡記錄在部落格中，一來為自己後面的面試做點儲備，二來是為了分享，因為很多都是從大家的部落格中去學習的，所以這裡也要將我理解的新的內容反饋出來，大家一起學習進步。數學在計算機中的...