海量資料正以前所未有的增長趨勢衝擊著整個資料中心行業,資料中心建設者們不得不以一種新的思考方式去重新審視it系統架構。伺服器作為資料中心的核心部件之一,為了適應未來大規模業務增長的需求,也需要對其架構進行優化和重構。
伺服器的硬體重構關乎大規模資料中心的效率和成本問題,目標是降低伺服器硬體購置成本、提高伺服器硬體資源的利用率、降低伺服器運維成本,降低綜合tco。
why伺服器資源池化?
計算密集型應用,空著的記憶體插槽、驅動器倉、擴充套件槽位都影響計算密度;
記憶體密集型應用,驅動器倉和擴充套件槽位可能是浪費空間;
儲存密集型應用,cpu 和記憶體的設計配置過高了……
資料中心工作負載的多樣性,橫軸是i/o 密集程度,縱軸是cpu 和記憶體密集程度,可見乙個計算和儲存等資源配比相對均衡的系統,是很難做到對多種不同應用優化的。
另外,不同型別資源之間也存在生命週期不同步的問題。譬如,cpu 是發展速度最快的,每兩三年就效能翻倍,然而儲存的技術發展相對緩慢,從而會造成cpu效能和功耗的浪費。
誰在研究伺服器資源池化?
為了解決這個問題,業界以intel、google為首的多家公司著手研究新型的伺服器架構。
intel提出了rsa(rack scale architecture)架構、google攜手伯克利大學提出了wsc(warehouse scale computer)的概念。intel的rsa架構已經有了清晰的架構設計和路標,目前原型機已經面世。而google的wsc仍在概念階段,只有簡單的時間表,2023年。
伺服器資源池化的挑戰?
在這裡,我們以intel的rsa為範例,簡單介紹一下伺服器資源池化技術。用一句形象的話來比喻rsa:rack as a server,即乙個機櫃就像是一台大型伺服器。intel rsa(rack scale architecture) 架構提供了一種機架重構的方案,其思想是將幾種重要的資源池化:cpu 池、記憶體池、儲存池,池化的rsa 模型可以很方便地進行管理和擴充套件,並降低執行維護成本。業務軟體或者os的視角看到的還是一台傳統的伺服器,有cpu、記憶體、硬碟、網絡卡等,如下圖所示:
伺服器重構並資源池化後,面臨的最大的挑戰就是,挑戰一:互連與時延(拓撲結構與介面);挑戰二:配置與管理(協議與監控)。
挑戰一:互連與時延。資源池之間的網路互連,在鏈路層協議上,可以有很多種,intel rsa採用的是乙太網,行業上還有其他公司採用pcie、sas、fabric等。不同的網路互連協議,各具優缺點,我們也期待著各種技術的探索成果。但是在物理層上,各家的觀點殊途同歸:矽光技術。矽光技術不僅繼承了光纖傳輸的高速、低時延的特點,同時也大幅提公升了介面密度。
挑戰二:配置與管理。伺服器的部件資源池化後,需要對部件資源進行發現、記錄、分配、**,以及對邏輯伺服器進行組裝、解除安裝等,需要定義一套新的管理軟體和協議。目前intel定義了一套rsa管理軟體,提供對伺服器資源池的發現、配置和管理。
rsa管理軟體不僅僅實現對內部池化資源的配置管理,同樣對上提供管理介面,對接openstack或vmware等管理軟體。伺服器資源池化後,產生了大量的配置管理的資料,傳統使用i2c匯流排的ipmi介面和協議,由於傳輸速率低、協議承載資訊量小,無法滿足資源池化的配置管理需求。此前,intel聯合hp、dell建立了一套新的資料中心管理軟體協議redfish,也被intel匯入rsa軟體架構,用於優化資源池化管理。
業務軟體的同事可能比較關心,伺服器資源池化後,對業務軟體會有什麼影響嗎?答案是,不會。伺服器資源池化,是從硬體角度對伺服器硬體資源進行優化重構;從軟體層面來看,是透明的。建立了邏輯伺服器後,軟體和os看到的與傳統伺服器的硬體部件沒有區別。
伺服器資源池化能力如何助力雲服務?
目前虛擬化技術和雲服務都是基於虛擬化技術,將單個伺服器硬體虛擬成多個虛擬機器vm,其目的也是在於提高伺服器資源的利用率。但是,由於單個伺服器的cpu、記憶體、硬碟資源顆粒度較小,因此在虛擬化應用中,經常出現資源配置空洞,要麼是cpu核數沒有分配完,要麼是記憶體沒有分配完,更多的情況是硬碟容量存在大量空閒。
綜述
雲伺服器和虛擬化技術(騰訊雲大學筆記)
什麼是雲伺服器?產生背景 1 某公司上架乙個遊戲p 流量爆發 後端伺服器無法滿足爆發需求 流量低谷 後端伺服器限制浪費 流量變化導致對後端需求不一致,之前購置的大量硬體產生資源浪費 後端資源精準預估難度很大 2 某傳統製造業公司轉型網際網路 企業 投入大量資源,希望盡可能高效利用後端伺服器資源,節約...
騰訊雲伺服器配置
在win10下,可以選擇xshell mobaxterm都可,個人版都是免費的。以python開發為例,命令列的vim是最直白的方式 ide可以選擇pycharm vscode等。vscode需要配置好ss 件,不然每次登入 切換資料夾等需要reload的操作,都會重新輸入密碼,很麻煩!在本地,自己...
騰訊雲伺服器搭建
1.購買伺服器 3.再左側選單欄裡的 例項 選擇伺服器所在地,即可看到之前所購買的伺服器。4.進入雲伺服器控制台內,建立ssh金鑰。6.通過xshell連線到伺服器 新建會話,主機裡選擇購買伺服器時所分配的公網ip 輸入登入的使用者名稱就是上面那個登入例項時的使用者名稱 密碼選填 鏈結到伺服器成功。...