分布式系統進化歷史 fly ever

2022-09-23 19:27:07 字數 2335 閱讀 2769

乙個成熟的大型分布式系統,並不是在其開始時,就設計為這樣,而是在之後的不斷優化,迭代而不斷的進化成熟的。

在乙個系統剛開始執行時,可能使用者數,業務處理等都還比較簡單,因此由一台伺服器就能支撐起其正常的業務處理。其系統架構模型可能如下所示:

1,單應用架構

其應用服務和資料庫服務,都部署在同一臺伺服器上。此時應用的實現簡單,能夠快速上線,為使用者提供服務。比如很簡單的可以使用tomcat+mysql部署在同一臺機器上,提供服務。

但是隨著使用者數量的增加,業務內容的不斷增加。其應用伺服器的響應可能會慢慢變得遲緩,此時需要提公升應用伺服器的負載能力,保證使用者的使用體驗。因此需要採用更好的系統架構:

2,應用伺服器和資料庫伺服器分離:

應用伺服器和資料庫伺服器的分離,使得應用能夠獲得整個伺服器的cpu資源來響應使用者請求。應用伺服器和資料庫伺服器的分離,也大大減少了應用的宕機風險。此時我們開始關注伺服器的管理了。

3,應用伺服器集群:

隨著使用者量的繼續增加,一台應用伺服器可能不能滿足系統的需求,因此我們需要採用應用伺服器的集群架構。

通過將使用者的請求分流到不同的應用伺服器,從而提高整個系統的負載能力,保證使用者的使用體驗。

但是當應用伺服器採用集群結構後,遇到了之前不存在的新問題,比如:

(1):使用者的請求由誰來決定,分發給哪個伺服器來處理(負載均衡問題)。

(2):使用者在使用**的過程中,如何維護使用者session,保證不同的伺服器響應請求時,能保證使用者session資料共享。

因此這個應用集群架構中,需要在應用伺服器之上,新增一層進行負載均衡。

負載均衡器,可以分為軟負載和硬負載。

軟負載: nginx或apache等。

硬負載:f5等.

session共享,可通過配置tomcat的session共享來解決。但是由於session在伺服器間的複製,占用浪費頻寬比較嚴重,此時建議tomcat的例項不能過多。

4,資料庫伺服器讀寫分離:

在完成了應用伺服器的集群分布後,此時的系統瓶頸就卡在資料庫服務這塊了。在對資料庫伺服器進行分布式集群時,很容易碰到多個資料庫例項上的資料不一致的問題,因此一般我們會根據提供的應用服務具體型別,綜合考慮應用提供的讀寫服務頻率等特點。可以考慮先把資料庫服務的讀寫進行分離。

此時,系統遇到的問題是:

(1):主從伺服器上的資料同步。可以使用mysql自帶的主從複製。

(2):可以根據業務選擇對應的資料庫中介軟體,遮蔽具體的資料庫訪問細節,如mycat等。

5,使用搜尋引擎,緩解資料庫讀庫壓力

根據具體的業務型別,如果設計到很多模糊查詢,而且資料量比較大,此時可以引入搜尋引擎,如elasticsearch。

引入了搜尋引擎,則需要額外的工作,如維護索引的構建,資料同步到搜尋引擎等。

6,引入快取機制

隨著使用者請求數量的增加,有一些熱點資料,可能會不斷的被使用者訪問,此時,可以把這些資料放進記憶體中,既避免訪問資料庫,又能加速響應使用者請求。此時可以開始使用快取技術,比如redis,memcache等。

使用快取機制,能夠快取讀庫壓力,提公升應用效能,與讀庫相比,從快取中讀取資料,也能夠更快的響應使用者請求。

在有些使用場景中,可能需要使用一些資料,這些資料放在記憶體中不太合適,而放到資料庫中又太麻煩,此時可以考慮使用nosql產品,來代替傳統的關係型資料庫,保持這些資料。

在分布式系統中,使用nosql時,也需要考慮快取是否支援分布式集群。

7,資料庫的水平/垂直拆分

隨著業務量和資料量的持續增加,由於所有的資料都在同乙個資料庫中,資料庫表非常多且雜,有些乙個表中的資料記錄已經達到了很大的數量。儘管採取了讀寫分離,快取機制等,但是單個資料庫中的併發連線數有乙個上限,因此對資料庫的訪問依然會成為乙個瓶頸。

因此需要考慮對資料庫進行拆分。

垂直拆分:把不同的業務資料拆分到不同的資料庫中。

水平拆分:把同一張表中的資料,拆分到不同的資料庫中,水平拆分的原因是某些表中的資料量記錄太大,達到了單個資料庫的瓶頸。

8,應用的拆分

隨著業務越來越多,整個應用越來越複雜,工程規模也越來越大。此時的管理維護工作量會越來越複雜。可以考慮根據領域模型,對系統進行拆分

對應用進行拆分後,可能有一些基本的操作,在每個子系統中,都會使用到,比如訪問使用者資料等,此時可以把這些相同的操作,抽象出來,通過提供服務的方式,提供給各個子系統使用。

因此此時遇到的一些新問題是,多個子系統之間如何進行遠端通訊。比如通過rpc技術(dubbo,webservice,hession,heep,rmi等),解決遠端通訊問題。

在系統不斷進化時,整個系統也變得越來越複雜,管理難度越來越大,同時也會不斷的出現新的技術,來解決不斷出現的新問題,如微服務,docker容器技術,容器編排等。

最重要的是,根據應用的實際情況,如使用者量,併發數,資料量等採用最合適的架構。

分布式系統

分布式系統和計算機網路系統的共同點是 多數分布式系統是建立在計算機網路之上的,所以分布式系統與計算機網路在物理結構上是基本相同的。他們的區別在於 分布式作業系統的設計思想和網路作業系統是不同的,這決定了他們在結構 工作方式和功能上也不同。網路作業系統要求網路使用者在使用網路資源時首先必須了解網路資源...

分布式系統

分布式,一來就直接看書,除非你有比較深厚的技術功底,要不還是很晦澀難懂的。先想想為什麼會有分布式,分布式怎麼來的。傳統的電信 銀行業,當業務量大了之後,普通伺服器cpu io 網路到了100 請求太慢怎麼辦?最直接的做法,公升級硬體,反正也不缺錢,ibm小型機,大型機,採購了堆硬體。但是網際網路不能...

分布式系統

zookeeper讓服務配置變得更簡單 zookeeper是hadoop下的乙個子專案,它是乙個針對大型分布式系統的可靠的協調系統,提供的功能包括 配置維護 名字服務 分布式同步 組服務等。zookeeper是可以集群複製的,集群間通過zab zookeeper atomic broadcast 協...