數學上有乙個原則：把複雜問題轉換為簡單問題。
例如，約束優化通過拉格朗日形式轉換成無約束優化問題。將非線性問題通過近似和殘差約束轉換為線型問題。
無約束優化問題是優化領域研究的基礎性問題，基礎性方法，如最速下降法，牛頓法，共軛梯度法，是其他複雜方法的基礎。所以掌握上述經典的思想對於理解新方法大有裨益。
優化問題可以表示如下：
min\quad f(x)\\ \\ s.t.\quad x\in \omega\quad \end
⎩⎪⎨⎪⎧
minf
(x)s
.t.x
∈ω
ω為某個指定的集合，稱為可行集或可行域，f(x)為定義在集合ω上的連續可微的多元實值函式。其中ω=，
\\ \omega = \，
ω=，當ζ與ξ是空集的時候，以上問題就是無約束優化問題。
參考部落格：
效能優化 二 優化方法
1.優化思路 1 公升級伺服器的硬體，換成更快 更大的機器。2 增加伺服器的數量。3 對系統和應用程式進行仔細的調優，以提高響應時間 吞吐量和資源利用率的效能指標。2.優化方法 1 每次改變乙個系統引數或者乙個應用邏輯。2 使用固定的負載 比如保持相同的併發使用者數 3 測試另乙個設定之前收集本次效...
GPU優化方法
cuda優化的最終目的是 在最短的時間內，在允許的誤差範圍內完成給定的計算任務。在這裡，最短的時間 是指整個程式執行的時間，更側重於計算的吞吐量，而不是單個資料的延遲。在開始考慮使用gpu和cpu協同計算之前，應該先粗略的評估使用cuda是否能達到預想的效果，包括以下幾個方面 精度 目前gpu的單精...
Tesla 優化方法
cuda優化的最終目的是 在最短的時間內，在允許的誤差範圍內完成給定的計算任務。在這裡，最短的時間 是指整個程式執行的時間，更側重於計算的吞吐量，而不是單個資料的延遲。在開始考慮使用gpu和cpu協同計算之前，應該先粗略的評估使用cuda是否能達到預想的效果，包括以下幾個方面 精度 目前gpu的單精...