網路資源:
部落格內容:課程筆記
第一章 分布式排程系統
一、分布式排程的主要作用:
像使用台式電腦一樣使用雲計算,將成千上萬臺硬體的運算能力匯合起來,提供可靠的雲計算服務。在台式電腦時代,cpu是其最重要的部分,而在雲計算中,分布式排程就扮演著cpu的角色。
第一章主要內容:
1)阿里雲飛天分布式系統
2)任務排程系統
3)資源排程
4)容錯機制
5)規模挑戰
6)安全與效能隔離
7)分布式排程的發展方向
第一節 分布式排程系統
分布式排程的兩大任務:
(1)任務排程:不同的業務部門在共享集群時,有大量的計算任務,任務如何切分,如何將海量的資料進行分割、在不同的節點進行運算,同時監控各個節點的運算狀態。
(2)資源排程:**雙方的供給方,平衡不同的業務部門之間的資源使用,需要支援優先順序搶占
分布式排程系統的比較:
mr主從架構:
jod tracker及負責資源排程,又負責任務排程,當客戶端使用者提交作業至資源管理器,job traceker會將作業分發至不同的節點,在每個節點上都設定了乙個名為task tracker,負責任務的排程和執行。這種主從架構存在天然的集中缺陷:
1):規模擴充套件存在瓶頸:task tracker這種節點的不斷增加,在job tracker方面就是不斷的新增記憶體條,會存在記憶體上限控制.
2):容錯性差:job tracker是單節點的程序,如果job tracker出現crash或者整個機器出現宕機,所有集群中執行的作業情況以及資源分配結果是無法恢復的.
3):不利於功能擴充套件:不同的業務部門的排程策略不同(對資源的排程和使用策略不同),並且還要求支援熱拔插(在不停止程序的情況下改變系統的排程)。
(2)yarn(應對上面提到的三個不足,在hadoop1.0版本的基礎之上做出的改進,本質上就是乙個資源排程器);
n和hadoop最大的不同:將任務排程和資源排程做了區分,能支撐起更大的計算規模
但是yarn目前僅僅支援記憶體維度的資源排程,像磁碟、cpu、網路的資源排程都不支援。資源互動鏈路增加,降低yarn的效能。
第二節 任務排程
雲計算入門學習 一
最近由於專案需要,要做乙個關於雲計算的研發專案。只是為了學習備忘使用,如有錯誤的地方請大家指正!乍一聽,雲計算高深莫測,感覺有點害怕。什麼是雲計算,雲計算能幹什麼?有什麼特點?如何開發雲應用?以下分別介紹 在介紹雲計算前,先說說 什麼是雲計算 田溯寧教授 隨著網路尤其是寬頻網路的發展,以及 虛擬化軟...
全球雲計算入門價格驟降
最新報告顯示,雲計算服務的入門 相較於兩年前已經下降了66 根據諮詢公司tariff consultancy在 pricing the cloud 2 2016 2020 中的分析,的下降在某種程度上反映了公有雲計算 商之間的激烈競爭,也體現了近年來全球主要平台 商中快速的產品創新。據tariff ...
雲計算入門 基本概念和特點
基本概念和特點 英譯 cloud cloud computing cloud computer cloud based。狹義雲計算是指it基礎設施的交付和使用模式,指通過網路以按需 易擴充套件的方式獲得所需的資源 硬體 平台 軟體 提供資源的網路被稱為 雲 雲 中的資源在使用者看來是可以無限擴充套件...