google雲計算框架

2021-09-01 01:23:01 字數 931 閱讀 3642

一。概述

google包括三大核心技術:gfs(goole檔案系統),mapreduce(分布式計算系統),bigtable(分布式儲存系統)。

1.gfs,底層,負責伺服器、機器資料的儲存。將大體積的資料庫分成固定大小的資料塊放到兩到三個伺服器上。當乙個伺服器發生故障時,可將資料迅速從另外乙個伺服器上恢復過來。

2.maprdeuce,google開發的程式設計工具,由於1tb的大規模資料集的平行計算。可將乙個搜尋任務分成數百個小任務,並行處理,將最終結果在後台合併,將最終結果返回到客戶端。

3.bigtable,對半結構化資料進行分布儲存與訪問介面,是建立在gfs和mapreduce上的結構化分布式儲存系統。

google的集群採用key/value的形式儲存,可以增強系統的可擴充套件性(scalability)。擴充套件性體現下兩點:(1)可以支援極大的資料儲存;(2)可以支援數量很多的併發查詢。

key/value模式相比於rdbms模式存在缺陷:

(1)沒有schema(資料庫物件的集合),不提供資料之間的關係和資料的完備性,需要開發人員自己處理;

(2)人們對它的介面不熟悉,當前出現的做法是再key/value儲存上新增乙個類sql的抽象介面層。

二。詳述

1.gfs是google自己研發的適用於大規模分布式資料處理相關應用的、可擴充套件的分布式檔案系統。處理的資料庫大小為64m(windows處理的一般為4kb),有兩部分組成,主伺服器和塊伺服器。

主伺服器節點儲存的資料為:檔案和塊的命名空間;檔案到塊的對映;每乙個塊的副本位置。所有元資料是儲存在主伺服器的記憶體中,命名空間和對映儲存在主伺服器本地磁碟的日誌中。通過日誌,在宕機時恢復主伺服器狀態。

主伺服器的值日儲存了關鍵元素變化的歷史記錄,是gfs的核心。主伺服器在日誌增長超過一定大小時,執行檢查點動作,在下次啟動時從本地硬碟讀這個最新檢查點,檢查點類似b-樹形式。

hdfs是開源gfs。

微軟的雲計算概念和Google的雲計算概念的差別

軟體轉向網際網路是大勢所趨,最主要的推動力是 雲計算 模式的興起。但與google所強調雲計算完全顛覆現有計算模式不同,微軟定義的 雲計算 未來的計算應該是 雲 端 的計算。傳統的計算模式是在計算機終端進行,當你使用乙個應用程式建立乙個檔案後,儲存這個檔案的功能必須交給個人計算機的作業系統來完成,作...

Google的雲計算關鍵計算和商業應用

先說關鍵技術 簡而言之,雲計算就是乙個基於分布式計算環境的軟體基礎架構中介軟體,遮蔽了底層硬體 網路拓撲 甚至作業系統差異 要解決的關鍵技術問題無非就是海量資料的分布式儲存和計算 google file system gfs是乙個可擴充套件的分布式檔案系統,用於大型的 分布式的 對大量資料進行訪問的...

Google的雲計算,你真的安全嗎?

google文件在3月7日發生了大批使用者檔案外洩事件。美國隱私保護組織就此提請 對google採取措施,使其加強雲計算產品的安全性。雲計算可以讓使用者在全球任何乙個角落更新文件,並與他人共享。如果你是google文件的使用者,在不知情的情況下,你的許多檔案突然出現在別人的賬戶裡,別人可以隨便檢視,...