分布式儲存系統概述

2021-09-10 19:56:08 字數 429 閱讀 1472

分布式儲存系統定義:由大量普通pc伺服器通過internet互聯,對外作為乙個整體提供服務,具有可擴充套件,低成本,高效能,易用的特點。

結構化資料:一般儲存在關係型資料庫中,可以用二維關係表結構來表示

半結構化資料:一般是自描述的,如html文件

分布式檔案系統:儲存blob資料(二進位製大物件,如非結構化資料),定長塊,大檔案,內部按照資料塊來組織資料,每個資料塊的大小相同,每個資料塊包含多個blob物件或資料塊,乙個大檔案也可以拆分為多個資料塊。分布式檔案系統將這些資料塊分散到儲存集群,處理資料複製,一致性,負載均衡,容錯等分布式系統難題。

分布式鍵值系統:用於儲存關係簡單的半結構化資料,只提供基於主鍵的crud功能。

分布式**系統:用於儲存關係較為複雜的半結構化資料,支援基於主鍵的crud功能以及範圍查詢功能。

分布式資料庫:用於儲存結構化資料。

分布式儲存系統概述

雲計算 大資料,這些熱點詞彙,後台的基礎設施離開不了分布式儲存系統,它的兩個特點,一是規模大,二是成本低。其實分布式系統的設計是根據需求來變化的,那麼我們接下來就看,我們需要儲存哪些資料,以及,分布式儲存系統有哪些分類。1.分布式儲存的資料 大致可以分為三類 結構化資料 這個最容易理解,關聯式資料庫...

分布式系統概述

2分布式系統概述注 由於大資料技術領域的各類技術框架基本上都是分布式系統,因此,理解hadoop storm spark 等技術框架,都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組,各自執行在不同的機器上,子系統或模組之間通過網路通訊進行協作,實現最終的整體功能 比如分布式作業系...

分布式系統概述

2分布式系統概述 注 由於大資料技術領域的各類技術框架基本上都是分布式系統,因此,理解hadoop storm spark 等技術框架,都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組,各自執行在不同的機器上,子系統或模組之間通過網路通訊進行協作,實現最終的整體功能 比如分布式作業...