分布式儲存系統關鍵問題

2021-08-28 11:59:25 字數 472 閱讀 5243

(一)關鍵問題

資料分布

對於儲存系統,最重要的問題就是資料分布,即什麼樣的資料放置在什麼樣的節點上。資料分布時需要考慮資料是否均衡、以後是否容易擴容等一系列問題。不同的資料分布方式也存在不同的優缺點,需要根據自身資料特點進行選擇。

1)雜湊分布 => 隨機讀取

取模直接雜湊:將不同雜湊值的資料分布到不同的伺服器上

關鍵:找出乙個雜湊特性很好的雜湊函式

問題:增加、減少伺服器時的大量資料遷移

解決:1)將《雜湊值,伺服器》元資料儲存在元資料伺服器中;2)一致性雜湊

一致性雜湊: 給系統每個節點分配乙個隨機token,這些token構成乙個hash環。執行資料存放操作時,先計算key的hash值,然後存放到順時針方向第乙個大於或者等於該hash值的token所在節點。

分布式儲存系統關鍵問題

一 關鍵問題 資料分布 對於儲存系統,最重要的問題就是資料分布,即什麼樣的資料放置在什麼樣的節點上。資料分布時需要考慮資料是否均衡 以後是否容易擴容等一系列問題。不同的資料分布方式也存在不同的優缺點,需要根據自身資料特點進行選擇。1 雜湊分布 隨機讀取 取模直接雜湊 將不同雜湊值的資料分布到不同的伺...

分布式儲存系統關鍵問題

一 關鍵問題 對於儲存系統,最重要的問題就是資料分布,即什麼樣的資料放置在什麼樣的節點上。資料分布時需要考慮資料是否均衡 以後是否容易擴容等一系列問題。不同的資料分布方式也存在不同的優缺點,需要根據自身資料特點進行選擇。1 雜湊分布 隨機讀取 取模直接雜湊 將不同雜湊值的資料分布到不同的伺服器上 關...

python分布式儲存系統 分布式系統

danger 什麼是分布式系統 分布式系統是由一組通過網路進行通訊 為了完成共同的任務而協調工作的計算機節點組成的系統。分布式系統的出現是為了用廉價的 普通的機器完成單個計算機無法完成的計算 儲存任務。其目的是利用更多的機器,處理更多的資料。首先需要明確的是,只有當單個節點的處理能力無法滿足日益增長...