實際上，機器學習演算法 = 模型表徵 + 模型評估 + 優化演算法
1 有監督學習的算是函式
~~~~~~~
機器學習演算法的關鍵一環是模型評估，而損失函式定義了模型的評估指標。可以說，沒有損失函式就無法求解模型引數。不同的損失函式優化難度不同，最終得到的模型引數也不同，針對具體的問題需要選取合適的損失函式。
問題：有監督學習涉及的損失函式有哪些?請列舉並簡述他們的特點
絕對損失函式相當於是在做中值回歸，相比做均值回歸的平方損失函式，絕對損失函式對異常點更魯棒一些
2 機器學習中的優化問題
知識點：凸優化基本概念
問題：機器學習中的優化問題，哪些是優化問題，哪些是非凸優化問題？
~~~~~~~
邏輯回歸，對應的優化問題就是凸優化問題，其他凸優化問題的例子包括支援向量機、線性回歸等線性模型。
~~~~~~~
主成分分析對應的優化問題是非凸優化問題，非凸優化問題的例子包括低秩模型（如矩陣分解）、深度神經網路模型等。
3 經典優化演算法
問題：無約束優化問題的優化方法有哪些？
~~~~~~~
經典的優化演算法可以分為直接法和迭代法兩大類。
~~~~~~~
直接法，顧名思義，就是能夠直接給出優化問題最優解的方法。這個方法聽起來非常厲害的樣子，但它不是萬能的。直接法要求目標函式需要滿足兩個條件。第乙個條件是，l(·)是凸函式。若l(·)是凸函式，那麼θ是最優解的充分必要條件是l(·)在θ處的梯度為0，
~~~~~~~
一階法：梯度下降法。二階法：牛頓法
4 梯度驗證
問題：如何驗證求目標函式梯度功能的正確性？
5 隨機梯度下降演算法
問題：當訓練資料量特別大時，經典的梯度下降法存在什麼問題，需要做如何改進？
6 隨機梯度下降法的加速
問題1：隨機梯度下降法失效的原因——摸著石頭下山
問題2：解決之道——慣性保持和環境感知
7 l1正則化與稀疏性
問題1：l1正則化使得模型引數具有稀疏性的原理是什麼？
第7章http優化方案
1 支援長連線 2 新增host欄位 3 100 狀態節約頻寬 客戶端可以事先傳送只帶header的請求，試探服務端，如果返回100，再去傳送request body 4 加入 cache新特性 當快取物件的age超過expire時變為stale物件，cache不需要直接拋棄stale物件，而是與源...
第7章 分支限界演算法
分支限界法類似於回溯法，是一種在問題的解空間樹上搜尋問題解的演算法。分支限界法的求解目標則是找出滿足約束條件的乙個解，或是在滿足約束條件的解中找出使某一目標函式值達到極大或極小的解，即在某種意義下的最優解。分支限界法常以廣度優先的方式搜尋問題的解空間樹。在分支限界法中，每乙個活結點只有一次機會成為擴...
演算法導論 第7章 快速排序
一 快速排序演算法的基本特性 時間複雜度 o n lgn 最壞 o n 2 空間複雜度 o n lgn 不穩定。快速排序是一種排序演算法，對包含n個數的輸入陣列，平均時間為o nlgn 最壞情況是o n 2 通常是用於排序的最佳選擇。因為，排序最快，也只能達到o nlgn 二 快速排序演算法的描述 ...