Hadoop學習之路

hadoop是谷歌的集群系統的開源實現：

-google集群系統：gfs、mapreduce、bigtable

-hadoop主要由hdfs(hadoop distrubuted file system)、mapreduce和hbase組成。

-hadoop的初衷是為解決nutch的海量資料爬取和儲存的需要

-hadoop於2023年秋作為lucene的子專案nutch的一部分正式引入apache**會

hadoop子專案：

官網：

小強的Hadoop學習之路

本人一直在做net開發，接觸這行有6年了吧。畢業也快四年了 6年是因為大學就開始在一家小公司做門戶 哈哈哈 之前一直秉承著學要精，就一直一門心思的在做net 也是懶吧 最近的工作一直都和大資料清洗相關，想著要學學真正的大資料懶，不然都不好意思說自己是做資料清洗的。目前關於hadoop的學習資料已經非...

小強的Hadoop學習之路（二）

接著第一遍。中間間隔了大約半年的時間了，話不多說，直接進入主題。這篇是主要是應用篇。目前的環境是4臺機器 環境 centos 7.2 cdh5.10.2 網上很多安裝教程，這邊就不說明了。hive hdfs篇。1 路徑問題 進入hive 的命令。直接 hive 當前的登陸使用者登陸 或者 sudo ...

開啟Hadoop和Spark的學習之路

hadoop是乙個由apache 會所開發的分布式系統基礎架構。使用者可以在不了解分布式底層細節的情況下，開發分布式程式。充分利用集群的威力進行高速運算和儲存。hadoop實現了乙個分布式檔案系統 hadoop distributed file system 簡稱hdfs。hdfs有高容錯性的特點，...