多維度資源分配問題 如何提高集群的資源利用率?

2021-10-06 20:49:34 字數 550 閱讀 1098

多維度資源分配問題,在系統排程中是經常遇到的乙個問題,比如,集群中有cpu,mem,ssd等資源,每個作業需要的每個維度的資源不一樣,如何分配集群中的資源給哪些job才能夠使得集群的資源利用率最大呢?這就是比較典型的資源分配問題。對於一些需要一定執行時間的job,這個問題的優化目標還會牽扯到最小化總的執行之間以及讓各個job等待處理的時間盡量的平均,即公平性。

下面主要介紹**《multi-dimensional resource integrated scheduling in a shared data center》中的一些思想方法。

**主要關注分配率的問題,即如何分配job才能夠使得整機的資源利用率最佳,這個對於服務部署類很有借鑑作用。當部署服務的時候,比如通過k8s來部署服務,這類服務一般為常駐服務,即沒有特殊情況,會一直存活,沒有所謂的job執行時間(換句話說,job執行時間也就是永遠,除非job出故障)。對於這類服務,一般服務本身都會說明對資源的需求,比如記憶體=2gb,cpu=2核,ssd=500gb。那麼如何排程job才能夠使得機器的資源利用率最高呢?

下面對比一下如下兩種排程策略:

有了上面幾個

如何充分利用CPU資源提高伺服器的效能

基本思路是如何讓cpu的超執行緒或者多核更加均衡和高效的利用起來,我們知道總是有一塊cpu去專門響應網絡卡的中斷請求,如果網路請求包非常大,很可能單個cpu就處理不過來,因此,需要啟用多核或者超執行緒,把網絡卡中斷請求分發到多個cpu去執行,從而提高整體伺服器的接入效能,也是提高cpu資源利用率的好...

中小企業如何做恰當的資源分配?

中小型企業發展上了軌道後,員工開始增加了,賦予其他資源的預算也多了,但這時卻發現公司的效益增長不符合預期,更有可能與增加了的員工數目和資源不成正比。出現這種情況,說明企業可能資源錯配了。換句話說,就是某些資源被錯誤調配到不合適的地方,不能達到資源效率最佳化。究竟中小企業應該如何做恰當的資源分配,才能...

利用CORS解決前後端分離的跨域資源問題

cors即crossorigin resources sharing 跨域資源共享,它定義了一種瀏覽器和伺服器互動的方式來確定是否允許跨域請求。它是乙個妥協,有更大的靈活性,但比起簡單地允許所有這些的要求來說更加安全。簡言之,cors就是為了讓ajax可以實現可控的跨域訪問而生的。注意cors也具有...