推薦一本較為良好的書籍《hadoop海量資料處理 技術詳解與專案實戰》
好的資料記錄:
hadoop2學習路線:
hdfs:
hadoop journal node 作用:
hdfs基本使用:
yarn資源管理+mapreduce分布式處理
zookeeper原理(深入學習):
(raft演算法:raft 演算法是一種簡單易懂的共識演算法。它依靠狀態機和主從同步的方式,在各個節點之間實現資料的一致性
hive原理與原始碼分析-服務化:llap、hiveserver2、metastore:
hbase的應用場景、原理及架構分析:
sqoop: sqoop則為hbase提供了方便的rdbms資料匯入功能,使得傳統資料庫資料向hbase中遷移變的非常方便。
mysql(sql資料庫,常用體系以及各種常用命令,索引提高搜尋效率,主從高可用方案,各種鎖機制)
;;;
redis(nosql資料庫,常用hash結構,載入於記憶體速度快) ;;;
等基礎資料庫知識:
安全策略①②:
ldap原理以及使用:
如何在spark平台搭建thriftserver:
kafka (利用topic傳遞訊息)設計與原理詳解:
hadoop2體系結構
hadoop1的核心組成是兩部分,即hdfs和mapreduce。在hadoop2中變為hdfs和yarn。新的hdfs中的namenode不再是只有乙個了,可以有多個 目前只支援2個 每乙個都有相同的職能。這兩個namenode的地位如何哪?答 乙個是active狀態的,乙個是standby狀態的...
Hadoop分布式安裝hadoop2
將hadoop安裝至 usr local 中 cd downloads sudo tar zxvf hadoop 2.7.1.tar.gz c usr local 解壓到 usr local中 cd usr local sudo mv hadoop 2.7.1 hadoop 將資料夾名改為hadoo...
Hadoop2 執行機制簡介
在上圖中resourcemanager支援分層級的應用佇列,這些佇列享有集群一定比例的資源。從某種意義上講它就是乙個純粹的排程器,它在執行過程中不對應用進行監控和狀態跟蹤。同樣,它也不能重啟因應用失敗或者硬體錯誤而執行失敗的任務。resourcemanager 是基於應用程式對資源的需求進行排程的 ...