今天看到了google實驗室的一篇學術**:mapreduce: simpli ed data processing on large clusters。剛看到時很興奮,感覺其中的網格計算的思想很是優秀。但興奮過後,發現其原理其實比較簡單,而且好像只適合用於一些需要進行非實時的大規模計算的場合,如搜尋引擎的統計工作,對大部分開發任務來說,並無多大借鑑意義。
但mapreduce的這種思想,倒與我之前曾經的乙個想法,有些不謀而合:)
我目前參與的乙個專案,會在每晚進行整個系統的每日構建,現在由於現在**量過大,而且由於部分工程組織不合理,導致編譯時間過長,每次完整構建的時間超過了12小時。所以一般兩天才完成一次構建,而工作中按需要隨時構建簡直就是一場災難。為解決這個問題,曾構想過如下乙個網格計算環境(受google file system的啟發):
網格計算框架:
乙個網格管理節點,提供如下服務:
接收網格計算任務(包含乙個工作者程式和乙個管理者程式,以及相關資料)
將計算任務的工作者程式分發給多個網格節點
啟動計算任務的管理者程式
維護網格節點的加入和退出,將退出節點上的任務重新分配到其他節點上
多個網格節點,每個網格節點,提供如下服務:
接收節點管理器分發的工作者程式
接收節點管理器的排程,並呼叫工作者程式進行工作
監視並報告工作者程式的工作情況
那麼,針對這個每日編譯的任務,除了以上框架外,還需要如下兩個處理程式。
在這裡記下來,也許哪天可以實現乙個看看。
構想 用c 寫乙個簡單的直譯器
構想 用c 寫乙個簡單的直譯器 不知道有什麼用,玩玩而已。提供常用畫圖函式 line,moveto,li o,fill.提供常用數學函式 sin,cos.提供常用運算子 用來計算座標 使用者可定義變數 暫時都是整型 實現賦值語句 實現for迴圈 其他語句再說了 現在還不打算讓使用者定義區域性變數 文...
如何選擇乙個合適的網格來進行網格收斂研究
一 幾何單元的型別 目前有四種不同的三維單元型別 四面體 六面體 稜柱,以及金字塔形 可以任意組合這四種單元來對任何三維模型進行網格剖分。二 不同幾何單元適用範圍 1 四面體單元 四面體單元是 comsol 中大部分物理場的預設單元型別。四面體也稱簡化網格,簡言之,它是指任何三維體都可以利用四面體進...
計算網格的兩個定義
科學領域驅使網格構建的源動力是在不同機構間協作的需求 聚集計算資源充分利用閒置的處理器週期的契機 資料量和計算需求超出了現有巨型計算機處理能力。因此計算網格最基本的定義為 在多種體系的動態環境下協作資源共享以及解決同樣問題。如果您把網際網路看作通訊網路,那麼網格計算就是計算網路 用於合用資產之間協調...