初探分布式系統之資料拆分

2021-09-14 06:58:42 字數 438 閱讀 7505

個人對分布式系統的涉及很感興趣,但分布式系統涉及的知識非常多,剛開始學習時也是各個點分散的學習。前兩天對於資料拆分這一塊做了乙個總結,因此記錄下來。

技術出現的原因都是為了解決問題,本文章也是按照這個思路去**的。

一台機器的處理能力有限,當資料量大了後效能下降,而且硬體單機成本不高。

垂直分庫(根據業務單元的不同把表分到不同的主機,單台機器能夠處理的請求數量有限)

水平分表(當一張表的資料多了之後查詢效率就會很慢,可以根據字段範圍劃分不同的表,學生表的id欄位,1~10000分為一張表,10000~20000分為另一張表)

單機acid打破,引入了分布式事務(難點)

join操作困難,查詢跨庫

自增id受到困難

分布式追蹤系統Jaeger初探

特性詳情 參考資料 uber發布了一篇部落格,講述了分布式追蹤系統在其內部的發展過程,以及jaeger選用當前架構的原因。jaeger的後端設計旨在不會出現單點故障,並且會隨著業務擴容。jaeger的後端,前端ui,開發庫都是一開始就被設計為支援opentracing標準的。jaeger支援兩種流行...

分布式系統 資料分布方式

分布式系統如何拆解輸入資料,將資料分發到不同的機器中。下面將介紹幾種不同的資料分布方式。color red b 一 雜湊方式 b color 雜湊方式是最常見的資料分布方式,其方法是按照資料的某一特徵計算雜湊值,並將雜湊值與機器中的機器建立對映關係,從而將不同雜湊值的資料分布到不同的機器上。所謂資料...

集群和分布式初探

維基百科 集群 在電腦科學中,分布式計算 英語 distributed computing 又譯為分布式運算。這個研究領域,主要研究分布式系統 distributed system 如何進行計算。分布式系統是一組電腦 computer 通過網路相互鏈結傳遞訊息與通訊後並協調它們的行為而形成的系統。元...