Hadoop和雲計算的關係

2021-07-02 14:06:14 字數 870 閱讀 3363

hadoop

主要是由hdfs和mapreduce組成,hdfs是乙個分布式檔案系統(hadoopdistributed file system),mapreduce則是用於並行處理大資料集的軟體框架。因此,hadoop是乙個能夠對大量資料進行分布式處理的軟體框架,它是一種技術的實現。

hadoop

基於hadoop,使用者可編寫處理海量資料的分布式並行程式,並將其執行於由成百上千個結點組成的大規模計算機集群上。hadoop已被全球幾大it公司用作其」雲計算」環境中的重要基礎軟體,如:雅虎正在開發基於hadoop的開源專案pig, 這是乙個專注於海量資料集分析的分布式計算程式。亞馬遜公司則基於hadoop推出了amazons3(amazon ****** storage service ),提供可靠,快速,可擴充套件的網路儲存服務。因此,hadoop是雲計算中一部分技術的實現,而不是全部。

雲計算是繼2023年代大型計算機到客戶端-伺服器的大轉變之後的又一種巨變,但雲計算的概念其實早已提出很久,早在上世紀60年代,麥卡錫就提出了把計算能力作為一種像水和電一樣的公用事業提供給使用者的理念,這成為雲計算思想的起源。在20世紀80年代網格計算、90年代公用計算,21世紀初虛擬化技術、soa、saas應用的支撐下,雲計算作為一種新興的資源使用和交付模式逐漸為學界和產業界所認知。因此,雲計算的存在只是一種新的商業計算模型和服務模式。

hadoop雲計算的關係

因此可以得出乙個結論:hadoop是乙個能夠對大量資料進行分布式處理的軟體框架,它是一種技術的實現,是雲計算技術中重要的組成部分,雲計算的概念更廣泛且偏向業務而不是必須拘泥於某項具體技術,雲計算的存在只是一種新的商業計算模型和服務模式。因此,雲計算才會出現「橫看成嶺側成峰,遠近高低各不同」,各種各樣層出不窮的理解。

上海市資訊科技培訓中心:021-52550057

Hadoop和雲計算的關係

個人理解 hadoop是乙個能夠對大量資料進行分布式處理的軟體框架,它是一種技術的實現 資料 hadoop主要是由hdfs和mapreduce組成,hdfs是乙個分布式檔案系統 hadoop distributed file system mapreduce則是用於並行處理大資料集的軟體框架。因此,...

雲計算和虛擬化的關係

雲計算和虛擬化,沒有任何必然關係。實現雲計算,根本不需要虛擬化。我說的雲計算,就是分布式計算 利用 mapreduce來實現 只有在雲服務提供商對外提供服務的時候,才需要使用虛擬化的技術,用虛擬化的目的是為了更好的管理。這就是我的結論。現在雲有多熱?連我媽都問我,啥是雲?我也只能告訴他,我那時候也沒...

大資料和雲計算的關係

1 什麼是大資料 ibm提出了大資料的5v特徵 volume 大量 velocity 高速 variety 多樣 value 價值 veracity 真實性 個人理解 大資料是在資訊資料 時代,為了更經濟地從高頻率獲取的 大容量的 不同結構和型別的資料中獲取價值,而設計的新一代技術架構,是必須的思想...