可以使用類似linux系統的掛載表，對映集群和hdfs檔案系統的路徑。例如：將/user/ 對映到集群cluster-1，將/data對映到cluster-2.在實際操作中，只需要直接使用hdfs dfs -ls /data 訪問的就是集群cluster-2中目錄。
增加nfly系統，可以鏈結乙個目錄到多個目錄，實現同時寫入多個檔案系統。例如配置如下，當執行命令：hadoop fs -touchz viewfs://global/ads/z1會在以下的目錄中分別建立乙個z1檔案
fs.viewfs.mounttable.global.linknfly../ads
hdfs://datacenter-east/ads, s3a://models-us-west/ads, hdfs://datacenter-west/ads
viewfs有兩種配置方式，一種是直接在core-site.xml檔案中配置，一種是在額外的檔案中配置。
在core-stie.xml檔案中參考以下配置
fs.defaultfs
viewfs://mycluster
<-- 配置單個目錄單個掛載點 -->
fs.viewfs.mounttable.clusterx.link./data
hdfs://mycluster-01:8020/data
<-- 配置單個目錄多個掛載點 -->
fs.viewfs.mounttable.global.linknfly.minreplication=3,readmostrecent=true,repaironread=false./ads
hdfs://mycluster-east/ads,s3a://models-us-west/ads,hdfs://mycluster-west/ads
<-- 如果想配置預設根目錄，使用如下配置 -->
fs.viewfs.mounttable.mycluster.linkmergeslash
hdfs://mycluster-01:8020/
修改core-site.xml如下，新建mounttable.xml，將以上配置配置在此檔案中
""
>
"mounttable.xml" />
ubuntu 安裝hadoop3遇到的坑
已經被前人踩過的坑 自己在安裝過程中遇到的問題 hdfs namenode format即時shutting down也可能是安裝成功的。在start dfs.sh中始終遇到 permission denied publickey,password starting datanodes localh...
Hadoop集群配置
hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...
hadoop集群配置
建立目錄 修改 home hadoop hadoop 2.7.1 etc hadoop下的配置檔案 把配置好的hadoop傳送到從節點 如果沒有目錄，請新建，沒有jdk，請提前裝，路徑和master保持一致 scp r home hadoop hadoop 2.7.1 root centos02 h...