hdfs檔案系統掛載

使用fuse將hdfs檔案系統掛載遠端伺服器上，像使用nfs和glusterfs那樣可以掛載共享儲存

fuse可以編譯安裝或者通過cdh或ambari源yum安裝

此處使用ambari
配置ambari官方源,然後就可以yum安裝了

sudo

注意：安裝fuse只需要在客戶端(即需要掛載hdfs的伺服器上安裝).　hadoop集群上不需要安裝 
部署hadoop

集群
hdfs:

配置環境變數

export ld_library_path=/usr/hdp/2.6.4.0-91/usr/lib/:/usr/local/lib:/usr/lib:$ld_library_path:$hadoop_home/build/c++/linux-amd64-64/lib:$/jre/lib/amd64/server

echo "user_allow_other" >> /etc/fuse.conf

切換到hdfs使用者

cd /usr/hdp/2.6.4.0-91/hadoop
./bin/hadoop-fuse-dfs hdfs://
192.168.103.220:9000 /mnt
說明：hdfs:
為需要掛載的hdfs目錄，此處表示根，注意埠是否預設還是自定義。注意修改
[root@node1 hadoop]# 
df -ht
檔案系統       型別           容量  已用  可用 已用%掛載點
/dev/sda3      xfs             18g   15g  3.2g   83% /devtmpfs       devtmpfs       
1.4g     0
1.4g    0% /dev
tmpfs          tmpfs          
1.4g     0
1.4g    0% /dev/shm
tmpfs          tmpfs          
1.4g  9.7m
1.4g    1% /run
tmpfs          tmpfs          
1.4g     0
1.4g    0% /sys/fs/cgroup
/dev/sda1      xfs             97m   97m   96k  100% /boot
tmpfs          tmpfs          283m     
0  283m    0% /run/user/0
fuse_dfs       fuse.fuse_dfs   36g     0   36g    0% /
mnt[root@node1 hadoop]# 

注意許可權

使用使用者要和hdfs集群使用者一致
這時候 在本地讀寫，在hdfs集群就可以看到資料來
本地：
[hadoop@node1 ~]$ cd /mnt/[hadoop@node1 mnt]$ 

lstest
[hadoop@node1 mnt]$ 
echo
"aaa
" >> test/a.txt 
[hadoop@node1 mnt]$

集群：

[hadoop@k8s-node2 hadoop-2.7.3]$ ./bin/hadoop fs -cat /test/a.txt

11111
111111
222111
aaa

				
HDFS檔案系統
hdfs 是 hadoop distribute file system 的簡稱，意為 hadoop 分布式檔案系統。是hadoop 核心元件之一，作為最底層分布式儲存服務而存在。分布式檔案系統解決的問題就是大資料儲存。它們是橫跨在多台計算機上的儲存系統。分布式檔案系統在大資料時代有著廣泛的應用前景...
				
基於CDH5 4配置掛載HDFS檔案系統
author kwu 基於cdh5.4配置掛載hdfs檔案系統 cdh 5 包含了fuse filesystem in userspace 介面到 hdfs.hadoop hdfs fuse 安裝包讓 hdfs 集群 做為linux 的外部檔案掛載到磁碟中.安裝fuse 安裝hadoop hdfs ...
				
HDFS檔案系統總結
hdfs預設快大小128m hdfs小於乙個塊大小的檔案不會佔據整個塊空間 對檔案系統塊檢查 hdfs fsck files blocks namenode管理檔案系統的命名空間，維護者檔案系統及整顆樹內所有檔案和目錄，這些資訊以兩個檔案形式永久儲存在本地磁碟上 命名空間映象檔案和編輯日誌檔案，也記...