hadoop是apache發布的開源分布式基礎架構
他的兩個核心是
兩部分就組成了hadoop的分布式基礎架構
hdfs作為hadoop為儲存海量資料，自然有著與傳統檔案系統有著不同的結構，它是以linux檔案系統的基礎的架構，構建裡一套分布式檔案系統，它是由乙個namenode和多台datanode組成的。
他通過將檔案進行劃分，分成多個資料塊進行儲存。（預設64mb，一般設定為128mb，備份x3）
namenode
datanode
優點 缺點
yarn是hadoop 中的資源管理器，mapreduce通過yarn來排程。
resourcemanager
nodemanager
mapreduce採用分而治之的程式設計思想
輸入乙個大檔案，通過split之後，將其分為多個分片
每個檔案分片由單獨的機器去處理，這就是map方法
將每個機器計算的結果進行彙總並得到最終的結果，這就是reduce方法
大資料框架Hadoop教程
hadoop是乙個開源框架，它允許在整個集群使用簡單程式設計模型計算機的分布式環境儲存並處理大資料。它的目的是從單一的伺服器到上千臺機器的擴充套件，每乙個台機都可以提供本地計算和儲存。90 的世界資料在過去的幾年中產生 由於新技術，裝置和類似的社交 通訊裝置的出現，人類產生的資料量每年都在迅速增長。...
大資料框架學習入門Hadoop命令參考
在 hadoop home bin hadoop fs 裡有更多的命令。bin hadoop dfs 列出所有可以使用在fsshell系統上執行的命令。此外，hadoop home bin hadoop fs help 命令名稱會顯示乙個簡短的用法。所有表的操作如下所示。以下是使用引數一般方式 me...
大資料之Hadoop框架（一）
三 hadoop應用 四 hadoop優勢及意義 quad quad apache hadoop 是乙個開源的,可靠的 reliable 可擴充套件的 scalable 用於大資料儲存 計算 分析的分布式儲存系統和分布式計算框架。quad quad hdfs hadoop distributed f...