這個技術的出現,可能會顛覆阿里雲 AWS!

2021-08-31 00:24:32 字數 3200 閱讀 2204

在大資料和人工智慧的帶動下,越來越多的大型公司開始爭奪雲服務市場這塊香餑餑。

aws、阿里雲、azure,這些耳熟能詳的雲服務商依然牢牢佔據著全球70%以上的市場,但是隨著去年「區塊鏈」這個領域的興起,未來雲服務市場可能發生改變。

今天,就從傳輸速度方面來講講,去中心化儲存,為何能顛覆阿里雲、aws。

去中心化儲存擁有比傳統雲儲存資料傳輸更快的速度,原因是:

首先, 我要講解的是網際網路底層架構。

影響網路傳輸速度的因素:

1、中間經過的路由的數量,一般來說中間經過的路由數量越多,傳輸速度越慢。

2、兩端的頻寬大小,以及剩餘情況,特別是伺服器端,如果伺服器端頻寬爆滿了,速度肯定會變慢。

3、兩端中間路由的頻寬大小,瓶頸往往是中間最慢的路由,特別是在跨越運營商的時候,或者跨越國界的時候,非常容易遇到瓶頸。

4、區域性的熱點事件,也很容易引起網路的擁塞,因為頻寬總量不變,當別人用多了,你自然就用少了。

網際網路在實際執行的過程中,就像乙個城市的交通,其實非常複雜,存在著巨大的不確定性,很難**。所以不能簡單理解為位址位置距離越近,網速越快;但是有一點可以肯定,如果地理位置距離遠的,網速一定不會快。下面這個圖就是美國的網路執行示意圖。

下面在看一組關於東南亞國家網路調查資料,資料**於

這是東南亞各國的頻寬總覽,可以看出不少國家的總接入頻寬是很少的。

另外,國際流量的調查**如下:

從表中可以看出,東南亞各國平均到每個人頭的跨國頻寬是非常低的,另外不少國家的跨國網路也是非常弱的。在此,我丟擲乙個問題,像amazon這樣的全球頂級雲服務提供商, 能夠保證每個地方都高速訪問嗎?

下面來解釋這個問題。我們先看一張圖,這是amazon的雲服務的全球機房部署圖

可以看出,亞馬遜雲服務在東南亞地區只在新加坡重點部署了兩個節點。 我猜測這樣做的原因可能是:新加坡國內環境安全且經濟實力較為強大,在這裡布置節點,使得管理成本最低。

但是,從前面的報告來看,東南亞不少國家的國際網際網路連線是很弱的。想象一下,乙個泰國的使用者,如果把檔案存放在新加坡的亞馬遜伺服器節點上,他必須通過跨國連線才能訪問,而柬埔寨整個國家的跨國網際網路非常弱,可以推斷,他的傳輸速度一定是很低的。

那麼我設計的ppio去中心化儲存為什麼能解決這個問題?

因為一旦ppio專案主網啟動,很快,我們的服務方將會遍布全球各地。為什麼我們的服務方會遍布全球各地?大家都會有閒置的硬碟空間或者頻寬,如果這些閒置空間可以出租賺錢,相信沒有人會拒絕。ppio就是將使用者閒置的硬碟空間和頻寬進行出租,再通過區塊鏈技術,保證激勵是公開透明的,只要使用者把儲存和頻寬接入ppio提供服務,就能獲得激勵。

當世界各地都有服務方接入ppio之後,就相當於在世界各地部署了機房來提供儲存服務,用最近的距離服務最近的人,傳輸速度自然就得到提高。想象一下,上網人數多的地方,同樣提供服務的人也會更多,這樣,人越多上網速度反而越快。

這是將來世界各地的ppio服務方地圖

我在設計ppio的時候,引入了p2p的經典重疊網路。所謂重疊網路,簡單地說就是在基本物理網際網路之上,再做一層基於節點與節點之間的平等邏輯網際網路。

ppio重疊網路就是採用自組織非結構網路的方式,這個方式鼓勵就近連線(網路距離)。保持就近連線,儲存時會將資料優先儲存在就近的租戶上,分發時也會優先從距離使用者近的節點傳輸資料,這樣能充分利用本地頻寬,極大提高傳輸速度。

p2p自組織網路的建立過程

為實現以上操作,每個節點要維持兩個實時的庫,乙個是鄰居庫,乙個是有效候選節點庫,這兩個庫對於重疊網路選擇節點至關重要。另外每個節點還要維護歷史鄰居庫,該庫記錄了歷史上成為過鄰居的節點和其相關資訊。

優先就近儲存原則

有鄰居節點後,當每個使用者上傳資料時,ppio會把大部分資源副本優先放置在鄰居服務方或者足夠快的鄰居服務方上,這樣使用者再獲取資源的時候,就能獲得就近傳輸了,獲得非常快的傳輸體驗。當租戶節點非常多遍及全球各地的時候,每個地方的儲存傳輸速度都能足夠快。

普通的使用者一般是很少變更區域的,但是也有特殊情況。我在設計ppio的時候適應了兩種特殊的情況。

1、關於跨越地域的使用者

可能存在以下的情況,有使用者長期來回在兩個地方,這樣兩個地方的傳輸速度都需要比較快。ppio對於這種情況要做專門的優化,由於使用者在乙個地方a,其鄰居也是a地方的鄰居,當使用者去另外乙個地方b的時候,其鄰居換成地方b的節點。而再使用者的歷史鄰居節點庫裡面,有兩個地方的節點。

每在乙個地方的時候,該地方鄰居節點的歷史權重就會被提高,另外乙個地方的鄰居節點的權重就會下降。如果使用者長期來回於兩地,這種情況會交替出現,導致其歷史鄰居節點權重差不多。這樣使用者在上傳資源的時候,檢索排程節點在選擇副本儲存租戶節點的時候,兩個地方的節點都會有。這樣該使用者不論在哪個地方都能獲得較好的使用者體驗。

2、如果使用者永久變更地域

另外,使用者可能出現長期或永久變更地點的情況,ppio給使用者設計了乙個重新排程操作,只要啟動這個操作,就會根據最新的歷史鄰居節點庫的權重重新排程。

不論之前副本書儲存在什麼租戶節點上,都會重新選擇租戶節點儲存新的副本,而新的副本裡面,大部分會才採用優先就近儲存原則儲存資料。這樣使用者之前儲存的資料可以和新儲存的資料一樣可以享受到高速傳輸的使用者體驗。

經過這些努力,我們能做到比中心化儲存方案更快地傳輸速度。

乙個問題:

下圖是使用者儲存資料位置圖,左邊是aws的s3中心化儲存服務,右邊是ppio的去中化化儲存網路,你認為哪種方案傳輸速度會更快?

ppio官網

steemit:

微信可能會顛覆快遞的運營模式

市場潛力 中國的快遞 cod人員接近100萬,每個月快遞公司 快遞員的 和簡訊溝通量相當巨大,同時每家快遞公司後台都需要投入巨資建立呼叫中心。按照每個快遞員200元 花費計算,100萬快遞員需要24億的溝通成本,呼叫中心 顧客 產生的成本另計。運營方式 如此,會大量節省快遞呼叫中心的壓力,讓顧客獲得...

區塊鏈技術的應用可能會帶來哪些風險?

區塊鏈技術的應用可能會帶來哪些風險?理論上區塊鏈技術非常安全可靠,但在實際應用中區塊鏈技術也會存在風險。區塊鏈技術應用已延伸到生活的方方面面,金融領域早已成為區塊鏈技術布局的重點。區塊鏈技術應用風險 區塊鏈技術在金融領域的應用依然面臨著風險挑戰。在技術層面尚難以兼顧部分金融場景對安全 功能和效能的要...

一些有可能會「冷不丁」出現的陣列知識

一 使用陣列初始化 vector 物件 1 const size t arr size 6 2 int int arr arr size 3 ivec has 6 elements each a copy of the corresponding element in int arr 4 vecto...