一、基本概念
動態規劃過程是:每次決策依賴於當前狀態,又隨即引起狀態的轉移。乙個決策序列就是在變化的狀態中產生出來的,所以,這種多階段最優化決策解決問題的過程就稱為動態規劃。
二、基本思想與策略
基本思想與分治法類似,也是將待求解的問題分解為若干個子問題(階段),按順序求解子階段,前一子問題的解,為後一子問題的求解提供了有用的資訊。在求解任一子問題時,列出各種可能的區域性解,通過決策保留那些有可能達到最優的區域性解,丟棄其他區域性解。依次解決各子問題,最後乙個子問題就是初始問題的解。
由於動態規劃解決的問題多數有重疊子問題這個特點,為減少重複計算,對每乙個子問題只解一次,將其不同階段的不同狀態儲存在乙個二維陣列中。
三、適用的情況
能採用動態規劃求解的問題的一般要具有3個性質:
(1) 最優化原理:如果問題的最優解所包含的子問題的解也是最優的,就稱該問題具有最優子結構,即滿足最優化原理。
(2) 無後效性:即某階段狀態一旦確定,就不受這個狀態以後決策的影響。也就是說,某狀態以後的過程不會影響以前的狀態,只與當前狀態有關。
(3)有重疊子問題:即子問題之間是不獨立的,乙個子問題在下一階段決策中可能被多次使用到。(該性質並不是動態規劃適用的必要條件,但是如果沒有這條性質,動態規劃演算法同其他演算法相比就不具備優勢)
四、求解的基本步驟
動態規劃所處理的問題是乙個多階段決策問題,一般由初始狀態開始,通過對中間階段決策的選擇,達到結束狀態。這些決策形成了乙個決策序列,同時確定了完成整個過程的一條活動路線(通常是求最優的活動路線)。如圖所示。動態規劃的設計都有著一定的模式,一般要經歷以下幾個步驟。
初始狀態→│決策1│→│決策2│→…→│決策n│→結束狀態
圖1 動態規劃決策過程示意圖
(1)劃分階段:按照問題的時間或空間特徵,把問題分為若干個階段。在劃分階段時,注意劃分後的階段一定要是有序的或者是可排序的,否則問題就無法求解。
(2)確定狀態和狀態變數:將問題發展到各個階段時所處於的各種客觀情況用不同的狀態表示出來。當然,狀態的選擇要滿足無後效性。
(3)確定決策並寫出狀態轉移方程:因為決策和狀態轉移有著天然的聯絡,狀態轉移就是根據上一階段的狀態和決策來匯出本階段的狀態。所以如果確定了決策,狀態轉移方程也就可寫出。但事實上常常是反過來做,根據相鄰兩個階段的狀態之間的關係來確定決策方法和狀態轉移方程。
(4)尋找邊界條件:給出的狀態轉移方程是乙個遞推式,需要乙個遞推的終止條件或邊界條件。
一般,只要解決問題的階段、狀態和狀態轉移決策確定了,就可以寫出狀態轉移方程(包括邊界條件)。
實際應用中可以按以下幾個簡化的步驟進行設計:
(1)分析最優解的性質,並刻畫其結構特徵。
(2)遞迴的定義最優解。
(3)以自底向上或自頂向下的記憶化方式(備忘錄法)計算出最優值
(4)根據計算最優值時得到的資訊,構造問題的最優解
五、演算法實現的說明
動態規劃的主要難點在於理論上的設計,也就是上面4個步驟的確定,一旦設計完成,實現部分就會非常簡單。
使用動態規劃求解問題,最重要的就是確定動態規劃三要素:
(1)問題的階段 (2)每個階段的狀態
(3)從前乙個階段轉化到後乙個階段之間的遞推關係。
遞推關係必須是從次小的問題開始到較大的問題之間的轉化,從這個角度來說,動態規劃往往可以用遞迴程式來實現,不過因為遞推可以充分利用前面儲存的子問題的解來減少重複計算,所以對於大規模問題來說,有遞迴不可比擬的優勢,這也是動態規劃演算法的核心之處。
確定了動態規劃的這三要素,整個求解過程就可以用乙個最優決策表來描述,最優決策表是乙個二維表,其中行表示決策的階段,列表示問題狀態,**需要填寫的資料一般對應此問題的在某個階段某個狀態下的最優值(如最短路徑,最長公共子串行,最大價值等),填表的過程就是根據遞推關係,從1行1列開始,以行或者列優先的順序,依次填寫**,最後根據整個**的資料通過簡單的取捨或者運算求得問題的最優解。
f(n,m)=max
**for(j=1; j<=m; j=j+1) //
第乙個階段
xn[j] =初始值;
for(i=n-1; i>=1; i=i-1)//
其他n-1個階段
for(j=1; j>=f(i); j=j+1)//
f(i)與i有關的表示式
xi[j]=j=max(或min);
t = g(x1[j1:j2]); //
由子問題的最優解求解整個問題的最優解的方案
print(x1[j1]);
for(i=2; i<=n-1; i=i+1
)
五大常用演算法之二 動態規劃演算法
文章 自 一 基本概念 動態規劃過程是 每次決策依賴於當前狀態,又隨即引起狀態的轉移。乙個決策序列就是在變化的狀態中產生出來的,所以,這種多階段最優化決策解決問題的過程就稱為動態規劃。二 基本思想與策略 基本思想與分治法類似,也是將待求解的問題分解為若干個子問題 階段 按順序求解子階段,前一子問題的...
五大常用演算法之二 動態規劃演算法
一 基本概念 動態規劃過程是 每次決策依賴於當前狀態,又隨即引起狀態的轉移。乙個決策序列就是在變化的狀態中產生出來的,所以,這種多階段最優化決策解決問題的過程就稱為動態規劃。二 基本思想與策略 基本思想與分治法類似,也是將待求解的問題分解為若干個子問題 階段 按順序求解子階段,前一子問題的解,為後一...
C C 五大常規演算法 動態規劃演算法
人工智慧時代,各國都在大力研究機械人技術,也製造出各種各樣的機械人,比如 為了解決男女失衡而製造 的美女機械人,假如你參與了某美女機械人的研發,你在這個專案中要求實現乙個統計演算法 如果美女機械人 一次可以上 1 級台階,也可以一次上 2 級台階。求美女機械人走乙個 n 級台階總共有多少種走法。咋一...