hadoop是大資料處理框架,工具
hdfs和mapreduce是hadoop的兩個原始核心功能,前者是負責儲存的系統,類似把試卷放在幾個櫃子裡,後者負責平行計算,類似把100份試卷分給5個人批改。
hadoop後來逐漸加了其他工具
hive提供資料彙總查詢功能,給了乙個視窗處理資料,對資料進行加減乘除。
hbase是乙個可擴充套件的、非關係型資料庫,不是傳統的excel表那種的資料格式
spark是比mapreduce更快的計算框架
hadoop和mysql的關係是「friends with benefits」
hadoop的並行處理系統加上mysql的快速處理大量資料能力,就能得到乙個能夠使用關係型資料並以巨大速度進行計算的資料庫。
hadoop之hadoop基礎介紹
hadoop是什麼?是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本?apache clourdera hortonworks hadoop優勢?高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別?hdfs hadoop distributed...
Hadoop 核心介紹
hadoop各個核心專案架構 hdfs2的架構 負責資料的分布式儲存,主從結構 主節點 namenode 可以有兩個 接收使用者的請求操作,使使用者操作入口 維護檔案系統目錄結構,稱為命名空間。從節點 datanode 至少乙個,儲存真實 資料。yarn的結構 是乙個資源排程和管理的平台,也是只從結...
Hadoop日誌介紹
1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯,如何查詢問題所在?1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話,清空日誌檔案,cat dev n...