新型分布式架構的特點 大資料學習筆記之一

2021-07-25 16:22:24 字數 902 閱讀 9737

1,去中心化

在乙個分布式系統中,每個節點都具有高度自治的特徵,節點之間彼此可以自由連線,形成新的連線單元。任何乙個節點都可能成為階段性的中心,但不具備強制性的中心控制功能。節點與節點之間的影響,會通過網路而形成非線性英國關係,這種開放式、扁平化、平等性的系統現象或結構,我們稱之為去中心化。

2,mpp架構(massive parallel processing ,大規模平行計算)

首先需要介紹一下smp(symmetric multi-processor),對稱多處理結構,是指伺服器中多個cpu對稱工作,無主次或者從屬關係。各cpu共享相同的物理記憶體,每個cpu訪問記憶體中的任何地方所需時間 是相同的。因此smp也被稱為一致儲存器訪問結構。對smp伺服器進行擴充套件的方式包括增加記憶體、使用更快的cpu、增加cpu、擴充套件i/o以及新增更多的外部裝置。主要特徵是系統的全部資源(cpu、i/o、記憶體等)都是共享的。也正是由於這種特徵,導致了smp伺服器的主要問題,那就是它的擴充套件能力非常有限。對於smp伺服器而言,每乙個共享的環節都可能造成smp伺服器擴充套件的瓶頸,而最受限制的則是記憶體,。由於每個cpu必須通過相同的記憶體匯流排訪問相同的記憶體資源,因此隨著cpu數量的增加,記憶體訪問衝突將迅速增加,最終造成cpu資源的浪費。

mpp伺服器是由多個smp伺服器通過一定的節點網際網路絡進行連線,協同工作,完成相同的任務,從使用者的角度來看是乙個伺服器系統。其基本的特徵是由多個smp伺服器通過節點網際網路絡連線而成,每個節點只訪問自己的本地資源。是一種完全共享的結構,因而擴充套件能力好,理論上其擴充套件無限制。mpp伺服器中,每個smp節點可以執行自己的作業系統、資料庫等,每個節點內的cpu不能訪問另乙個節點的記憶體。節點之間資訊的互動通過節點網際網路絡實現的,這個過程一般稱為資料重分配。

mpp需要一種複雜的機制來排程和平衡各個節點的負載和並行處理過程。。目前的一些基於mpp技術的伺服器往往通過系統軟體(資料庫等)來遮蔽這種複雜性。

分布式架構特點

使用者多,分布廣泛 大流量,高併發 海量資料,服務高可用 安全環境惡劣,易受網路攻擊 功能多,變更快,頻繁發布 從小到大,漸進發展 以使用者為中心 免費服務,付費體驗 高效能 提供快速的訪問體驗。高可用 服務一直可以正常訪問。可伸縮 通過硬體增加 減少,提高 降低處理能力。擴充套件性 方便的通過新增...

集中式架構和分布式架構的特點

1.集中式架構的特點 所謂的集中式系統就是由一台或多台主計算機組成的中心節點,資料集中儲存於這個中心節點中,並且整個系統的所有業務單元都集中部署在這個中心節點上,系統的所有功能均由其集中處理。也就是說,在集中式系統中,每個終端或客戶端機器僅僅負責資料的錄入和輸出,而資料的儲存與控制處理完全交由主機來...

大資料分析需要分布式計算架構

我們說大資料分析,說雲計算,都少不了分布式計算技術。因為要實現大規模的計算和資料分析,一台伺服器肯定是不夠的,你也不能簡單地將不同功能模組分布到不同的機器上執行,這充其量也只能叫做scale up,但是最終你一定需要scale out,這才是真正的分布式計算,或者叫平行計算。developerwor...