四大模組
三大核心
hdfs
mapreduce
yarn
生態圈
分布式系統
hdfs檔案系統的介紹
分而治之:將大檔案、大批量檔案，分布式存放在大量伺服器上，以便於採取分而治之的方式對海量資料進行運算分析
重點概念:檔案切塊副本存放元資料
namenode提供元資料服務，元資料資訊要載入到記憶體中
secondarynamenodenamenode的輔助節點，整合元資料的，將元資料資訊寫入到磁碟形成元資料的映象檔案
datanode資料儲存
格式化檔案系統
hdfs namenode -format
hdfs的概念和特性
蒐集 Hadoop簡單了解
根本作用 任務的分離，結果的彙總。定義 幫助使用者在不必詳細了解分布式底層細節的情況下，開發分布式程式。充分的利用集群的威力進行高速運算和儲存。原理 hadoop 實現了乙個分布式檔案系統 hadoop distributed file system 簡稱 hdfs。核心設計 hdfs 和 mapr...
hadoop之 yarn （簡單了解）
yarn通過兩個 守護執行緒提供核心服務 resourcemanager，管理集群所有資源的切分以及作業的排程與監控 nodemanager，執行在集群所有節點上，啟動並監控容器的執行狀況，並負責向resourcemanager匯報。在linux上，hadoop是通過cgroup技術實現contai...
大資料處理框架 Hadoop簡單了解
大資料 收集 整理和處理大容量資料集，並從中獲得見解所需的非傳 略和技術的總稱。人工智慧 圖靈測試 指人和機器在被隔開的情況下，通過一些裝置向機器隨意提問，經過多次測試後，如果有超過30 的人不能確定被測試者是人還是機器，那麼這台機器就通過了測試，並被認為具有人類智慧型。如果乙個東西具有學習 分類和...