一、hadoop核心
hdfs: (hadoop distributed file system) 分布式檔案系統 ,用於海量資料的儲存
yarn: (yet another resource negotiator)資源管理排程系統,用於資源管理排程
map/reduce:分布式運算框架,用於海量資料的分析
二、hadoop特點
·擴容能力(scalable):能可靠地(reliably)儲存和處理千兆位元組(pb)資料。
·成本低(economical):可以通過普通機器組成的伺服器群來分發以及處理資料。這些伺服器群總計可達數千個節點。
·高效率(efficient):通過分發資料,hadoop可以在資料所在的節點上並行地(parallel)處理它們,這使得處理非常的
快速。·可靠性(reliable):hadoop能自動地維護資料的多份副本,並且在任務失敗後能自動地重新部署(redeploy)計算任務。
hadoop (1)hadoop核心知識點總結
1 安裝hadoop需要配置的hadoop中的配置檔案有哪些?2 hadoop的核心模組和相應的程序 hdfs namenode,datanode,secondarynamenode,namenodemanager,datanodemanager 3 secondarynamenode的作用 如果執...
Web Service核心知識
xml,soap和wsdl就是構成webservice平台的三大技術。xml webservice採用http協議傳輸資料,採用xml格式封裝資料,即xml中說明呼叫遠端服務物件的哪個方法,傳遞的引數是什麼,以及服務物件的返回結果是什麼。xml是webservice平台中表示資料的格式。除了易於建立...
Linux核心知識
linux核心最初創始人 linus torvalds管理乙個linus樹,linus樹也稱為主線 mainline 一般指的upstream,上游 也指這個linus樹或者各種開發樹。linus樹是以2.6.x這樣的三個數字來表示。比如linux 2.6.18 164.el5xen 的linus樹...