1、name node ha
2、name node federation
3、hdfs 快照(目錄快照)
4、hdfs 快取
5、hdfs acl
6、異構層級儲存結構
1、namenode ha:
namenode分為主備節點,乙個為activenamenode,乙個為standbynamenode。
activenamenode作用:
1、master主節點,只有乙個;
2、管理hdfs 命名空間;
3、儲存資料塊與資料節點的對映關係,檔案與資料塊的對映關係;
4、配置副本策略;
5、處理客戶端請求;
standbynamenode作用:
1、namenode熱備;
2、定期合併元資料資訊,包括(fsimage和fsedits)。並且推送給activenamenode;
3、當activenamenode故障的時候,快速切換稱為新的activenamenode;
2、namenode federation:
多個namenode配合工作,每個namenode分管不同的hdfs目錄,共享所有的datanode資料節點。
3、hdfs 快照:
主要為防止使用者誤刪資料,和資料備份的作用
快照的物件為hdfs目錄,前提是該目錄是可以允許設定快照的(snapshotable)
啟用快照:bin/hdfs dfsadmin allowsnapshot
建立快照:bin/hdfs dfs -createsnapshot [snapshotname]
刪除快照:bin/hdfs dfs -deletesnapshot [snapshotname]
快照特性:唯讀,不可修改
4、hdfs 快取:
目的:讓高頻訪問的資料進行長期快取。
特性:1、僅支援目錄或檔案快取,不支援block級別
2、不支援自動快取
3、不會遞迴快取目錄下子目錄的所有檔案
4、可以設定快取時間
5、獨立管理記憶體,還沒有與yarn的資源管理進行整合,可能會有資源分配的衝突·
5、hdfs acl:
目標:提高hdfs目錄許可權管理的安全靈活性,原許可權管理類似linux作業系統模式的使用者、使用者組、其他組的目錄許可權管理。
配置:在namenode節點上配置,dfs.namenode.acls.enabled:true
例子:hdfs dfs -setfacl -m user:tom:rw - /lab/user
hdfs dfs -setfacl -m user:lucy:rw - /lab/user
hdfs dfs -setfacl -m group:team2:r - /lab/user
hdfs dfs -setfacl -m group:team3:r - /lab/user
6、hdfs 異構層級儲存結構
可為不同的資料目錄,配置不同的儲存介質類別,如磁碟、ssd 、ram,以滿足hadoop集群中不同計算框架,不同計算任務,不同效能要求的資料儲存需求。
配置:dfs.datanode.data.dir
[disk]/dir1,[disk]/dir2,[ssd]/dir3,[ssd]/dir4
hdfs 提供api控制目錄檔案,寫到什麼介質,且能限制每個使用者對每種介質的可使用份額。
Hadoop1 0與Hadoop2 0的區別
hadoop1.0即第一代hadoop,指的是版本為apache hadoop 0.20.x 1.x或者cdh3系列的hadoop,核心主要由hdfs和mapreduce兩個系統組成,其中mapreduce是乙個離線處理框架,由程式設計模型 新舊api 執行時環境 jobtracker和tasktr...
hadoop1 0和hadoop2 0的區別
1.hadoop 1.0中的資源管理方案hadoop 1.0指的是版本為apache hadoop 0.20.x 1.x或者cdh3系列的hadoop,核心主要由hdfs和mapreduce兩個系統組成,其中,mapreduce是乙個離線處理框架,由程式設計模型 新舊api 執行時環境 jobtra...
ganglia監控hadoop2 0配置方法
ganglia監控hadoop2.0配置方法 前提 hadoop2.0集群已安裝ganglia監控工具 第一步 hadoop使用者登入集群每乙個節點,修改檔案 vi opt hadoop 2.0.0 cdh4.5.0 etc hadoop hadoop metrics2.properties 將檔案...