1. 優化問題
最一般的優化問題的表述是這樣的：
求解等式約束 $\boldsymbol(\boldsymbol)=0$ 和不等式約束 $\boldsymbol(\boldsymbol)\leq 0$ 下使得取得 $\min f(\boldsymbol)$ 的解 $\boldsymbol$
其中 $f:\mathbb^n\rightarrow \mathbb$，$\boldsymbol:\mathbb^n\rightarrow \mathbb^m$（即m個等式約束），$\boldsymbol:\mathbb^n\rightarrow \mathbb^k$（即k個不等式約束）
這裡對映 $\boldsymbol$ 所使用的小於號表示各個分量均小於零。當目標函式 $f$，等式約束函式 $\boldsymbol$ 和不等式約束函式 $\boldsymbol$ 要麼預設要麼為線性函式時，該優化問題又稱線性規劃；否則（只要存在任意一函式非線性）即稱為非線性規劃。優化問題是數值計算中非常重要的乙個問題。和非線性方程組求解一樣，這個看似簡單的問題也並沒有可以直截了當地處理多數問題的silver-bullet，這一方面的理論比較複雜；此外，優化演算法的應用領域極其廣泛、地位極其重要，除了求解非線性方程組可以使用（matlab中最常用於解非線性方程組的函式fsolve就是使用優化方法，見matlab解方程內建函式詳解）以外，在人工智慧和機器學習領域也有很重要的地位。而不論是高中文科數學總要掌握的線性規劃，還是基本的最小二乘問題（也是通常的線性回歸使用的方法），其本質都是優化問題的乙個特例。
高等數學的知識告訴我們，一維連續光滑函式取得極值的必要非充分條件是該點導數值為零。如果試圖尋找函式在一定區間上的最值（最大/最小值），一般的方法是找出所有的極值點和端點比較其函式值。和這一方法一樣，雖然優化問題的一般表述總是將「最值」作為追求的目標，在實際的演算法中卻幾乎總是以求極值為出發點。至於求解總區間上的最值，總是比較複雜和困難，而且總是能夠構造處一些函式，它的最值對於計算方法幾乎不太可能求出。以下的討論基本總是求解極值的演算法。
2. 問題的性質
2.1 解的
存在唯一性：
若函式 $f$ 在n維有界閉區域 $s$ 上連續，那麼 $f$ 在 $s$ 上一定有全域性最小值；
若函式 $f$ 在n維閉區域 $s$ 上連續並且向正無窮發散(coercive，即 $\lim\limits_f(\boldsymbol)=+\infty$ )，那麼 $f$ 在 $s$ 上一定有全域性最小值。
以上定理只能保證最小值存在，沒有建立最小值和極小值之間的關係。但是，對於一類特殊的函式，它在一定區域內的極小值一定是最小值，這類函式即凸函式。凸函式為定義在凸區間上的一種函式，它滿足任意兩點的連線位於抽象的函式曲面之下；而凸區間則滿足任意兩點連線仍然在區間中。定義在凸區間內的嚴格凸函式有唯一的極小值，該極小值為該函式在該區間上的最小值。
2.2 最優化條件：
一階最優化條件：一維函式 $f:\mathbb\rightarrow \mathbb$ 的一階極值條件：$f'(x)=0$ ；高維函式 $f:\mathbb^n\rightarrow \mathbb$ 的一階極值條件：$\nabla f(\boldsymbol)=0$ 。
二階最優化條件：一維函式 $f:\mathbb\rightarrow \mathbb$ 的一階極值條件：$f''(x)>0$ ；高維函式 $f:\mathbb^n\rightarrow \mathbb$ 的二階極值條件：$h_f(\boldsymbol)$ 正定。其中，$(h_f(\boldsymbol))_=\frac)}$ 稱為海塞(hessian)矩陣，它是高維函式泰勒展開的二次項係數，等價於一維函式泰勒展開的二次項係數（二階導數）。當一階最優化條件滿足時，海塞矩陣正定$\rightarrow$該點為極小值點；海塞矩陣負定$\rightarrow$該點為極大值點；海塞矩陣不定$\rightarrow$該點為鞍點；海塞矩陣為奇異矩陣$\rightarrow$無法判斷點的型別，此時理論上來說需要有更高階最優化條件。
2.3 問題的條件：
3. 數值方法
和數值求解方程的問題類似，數值優化的方法也多為迭代方法。
3.1 一維優化問題
一維優化問題的數值方法包括：**分割搜尋法（區間分割），牛頓法（一階最優化求解），連續二次插值法，等。
3.2 高維優化問題
高維優化問題的數值方法包括：nelder-mead單純形方法（直接搜尋），最速下降法，信賴域方法，高維牛頓法（一階最優化求解），擬牛頓法（割線更新迭代）——bfgs方法、共軛梯度法，等。
電磁基本理論
微波指頻率在300mhz到300ghz 對應波長為1m到1mm之間的交流訊號。一些頻段大體分配 波段l波段 1 2ghz s波段2 4ghz c波段4 8ghz x波段8 12ghz ku波段 12 18ghz k波段18 26ghz ka波段 26 40ghz 微波特點 第一方程 不僅傳導電流可以...
Git基本理論
檔案在這四個區域之間的轉換關係如下 git的工作流程一般是這樣的 在工作目錄中新增 修改檔案 將需要進行版本管理的檔案放入暫存區域 將暫存區域的檔案提交到git倉庫。因此，git管理的檔案有三種狀態 已修改 modified 已暫存 staged 已提交 committed 上面說檔案有4種狀態，通...
vs基本理論
4月 15日下午學習 1.csproj 是乙個專案檔案，是管理 cs檔案的。專案裡包含很多檔案。2.cs 是乙個配置檔案 3.開啟時不要直接開啟 cs 要雙擊專案檔案。開啟的整個的專案。4.sln是解決方案檔案。解決方案可以包含很多的專案。輸入輸出 再main 下邊中間裡面寫程式。console.w...