分布式系統 概述

分布式儲存系統是大量普通pc伺服器通過internet互聯，對外作為乙個整體提供儲存服務。

特性：可拓展、低成本、高效能、易用。

挑戰：資料、狀態資訊持久化；資料一致性。

涉及到的技術：資料分布、一致性、容錯、負載均衡、事務與併發控制、易用性、壓縮/解壓縮。

資料型別：非結構化資料、結構化資料、半結構化資料。

系統型別：分布式檔案系統、分布式鍵值（key-value）系統、分布式**系統、分布式資料庫。

儲存關係簡單的半結構化資料，只提供基於主鍵的crud。

分布式鍵值系統是分布式**系統的簡化實現，一般用作快取。

常用資料分布技術：一致性雜湊（一致性雜湊原理）

儲存關係較為複雜的半結構化資料。

以**為單位組織資料，通過逐漸標識一行，支援根據主鍵的crud功能以及範圍查詢功能。

支援單行事務、某個實體組（entity group）下的多行事務。

和分布式資料庫相比，分布式**系統主要支援針對單張**的操作，不支援複雜操作如多表關聯、多表聯接、巢狀子查詢；同乙個**的多行資料不要求包含相同型別的列，適合半結構化資料。

儲存結構化資料。

採用二維表組織資料，提供sql查詢語言，支援多表關聯、巢狀子查詢，資料庫事務及併發控制。

可擴充套件性的挑戰：二維關係模型很難高效地擴充套件到多個儲存節點；對於要求高併發的應用在效能上優化空間較大。

分布式系統概述

2分布式系統概述注 由於大資料技術領域的各類技術框架基本上都是分布式系統，因此，理解hadoop storm spark 等技術框架，都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組，各自執行在不同的機器上，子系統或模組之間通過網路通訊進行協作，實現最終的整體功能 比如分布式作業系...

分布式系統概述

2分布式系統概述 注 由於大資料技術領域的各類技術框架基本上都是分布式系統，因此，理解hadoop storm spark 等技術框架，都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組，各自執行在不同的機器上，子系統或模組之間通過網路通訊進行協作，實現最終的整體功能 比如分布式作業...

分布式系統概述

分布式計算機系統是由多台計算機組成並滿足以下條件的系統 用於管理分布式計算機的作業系統稱為分布式計算機系統。一 系統資訊 分布式系統 distributed system 是建立在網路之上的軟體系統。正是因為軟體的特性，所以分布式系統具有高度的內聚性和透明性。內聚性是指每乙個資料庫分布節點高度自治，...