計算網格平台Alchemi效率測試

2021-09-08 05:48:59 字數 969 閱讀 6017

前邊介紹了計算網格平台alchemi的一些情況:

[推薦] 基於.net的grid實現:alchemi

alchemi試用手記

alchemi的實現機制初探

昨天對其效率做了乙個簡單的測試,測試結果如下:

對不同大小的空間資料集進行坡度求解的運算的計算結果見下表。其資料集大小分別為400×400,2000×2000和10000×10000的資料集;網格節點,即alchemi的executor節點分別為1到5。測試結果表明,對於小資料集,在網格計算環境下,效率呈現下降趨勢,例如對於400×400,2000×2000的資料集,效率分別是單機環境的0.09倍和0.29倍,但對於10000×10000的大資料集,2個節點的網格計算環境效率即超過單機環境,而對於5個節點,效率提公升為1.92倍。

對於分布式呼叫,其執行效率受以下因素影響:

(1)遠端呼叫本身的開銷,一般來說,遠端呼叫要比本地呼叫慢1個數量級以上;

(2)網路傳輸速度的限制,所有執行的**和呼叫指令等都需要遠端傳送,因此效率也必然要比本地呼叫慢得多。

這2個原因也是為什麼對於較小的資料集,網格環境下效率反而不如本地**(上表,圖 a,b),但對於大資料集的較大的計算量,這些開銷的負面影響被分布式計算所抵消,帶來了更好的執行效率(上表,圖 c)。而且,隨著資料集大小的增加,計算量隨之增加,增加網格節點會持續帶來效率的提公升,例如圖a和圖b隨之網格節點增加,節點數超過2個以後,效率提公升並不明顯,但圖c隨著節點數增加,效率會持續提公升。

由測試結果我們可以看到,通過計算網格技術的分布式計算,可以提高需要高密度計算的空間分析的運算效率,但對於運算時間小於遠端呼叫及網路傳輸開銷的運算,使用網格會得不償失,所謂「分布式物件第一定律:不要使用分布式物件」,誠不我欺。

因此,網格可能只是適用於類似科學計算之類大計算量問題求解,對於一般的計算,例如企業系統,並不適合。

基於Azure雲計算平台的網格計算(1)

在這個由3部分組成的系列文章中,我們將看一下利用azure雲計算平台的網格計算。在第1部分中,我們將看到所涉及的設計模式以及一些有益的觀點。在第2和第3部分,我們將看到乙個用來展示專門為azure而開發的網格計算框架的 例子。並不是所有人都清楚,網格計算和雲計算之間的區別,所以我們先來簡短解釋一下兩...

網格計算簡介

一 網格計算發展背景 計算機乙個主要的功能就是複雜科學計算,而這一領域的主宰就是超級計算機,比如我國的 銀河 曙光 等超級計算機,還有ibm的超級計算機 深藍 以超級計算機為中心的計算模式存在明顯的不足,它雖然是乙個處理能力強大的 巨無霸 但它造價極高,通常只有一些國家級的部門 如航天 氣象和軍工等...

Globus 開源網格基礎平台簡介

網格技術出現於20世紀90年代,它的目的是想利用高速網際網路把分布於不同地理位置的計算機 資料庫 儲存器和軟體等資源連成整體,就像一台超級計算機一樣,為使用者提供一體化資訊服務,其核心思想是 整個網際網路就是一台計算機!由全球網格論壇 ggf 下屬globus專案組成員聯合開發的globus too...