DRF資源分配演算法

2022-02-15 15:15:41 字數 745 閱讀 2511

dominant resource fairness 是mesos預設的資源分配策略

drf基於「最大—最小」演算法設計而成,支援異構環境下多種型別資源的排程。

以公平的方式提供資源,保證每個計算框架可以接受到該框架需要的資源。

mesos將資源劃分為:

* cpus

* gpus

* disk

* mem

* ports

不同的 task 對不同型別的資源有需求,mesos 會根據每乙個 task 的需求佔集群總資源的比率,為每乙個 task 選取乙個主導資源,並且計算這個主導資源在集群中所占用的比率,用這個比率給 task 進行優先順序排序。每一次新的分配,都會優先選擇把資源給當前所佔比率最低的那個 task。

比如現在集群一共有 10 cpus & 20 g mem。

task a 的需求為 4 cpu & 1 mem;

task b 的需求為 1 cpu & 4 mem;

所以我們可以看出 a 的主導資源是 cpu,b 的主導資源是 mem。

假設 a 和 b 都有乙份正在執行,那麼 a 的比率為 4/10=0.25,b 的比率為 4/20=0.2,下一次資源分配,就會優先滿足 task b。

dominant resource fairness

drf

GPU資源分配

gpu 的計算核心是以一定數量的 streaming processor sp 組成的處理器陣列,nv稱之為 texture processing clusters tpc 每個tpc 中又包含一定數量的 streaming multi processor sm 每個sm包含8 個sp。sp 的主要...

雲計算 資源分配

在雲計算系統中所有的儲存 網路 記憶體 計算 io都是資源,這些資源都應該可以細粒度化分配。即網路,可以限定某乙個程序所可以使用的頻寬,可以現在某乙個會話的總頻寬,或者可以限制某乙個使用者的總頻寬,其他資源依次類似。儲存 對於儲存資源,為使用者分配定量的儲存資源。構建分布式檔案系統,監控使用者使用檔...

動態規劃 資源分配

動態規劃的決策不是線性的而是全面考慮到各種不同情況分別進行決策,最後通過多階段決策逐步找出問題最優解。而當前決策也會依賴於上一階段的決策,此時便會發生狀態的轉移。動態規劃演算法可以說是一種 聰明的蠻力法 因為動態規劃是會考慮到每一種可能,而聰明的地方是相對於蠻力法,它去掉了很多沒必要的運算。例1 資...