hadoop獲取檔案系統介面

2021-10-05 17:41:05 字數 812 閱讀 8653

hadoop提供了許多檔案系統的介面,使用者可以使用url方案選取合適的檔案系統來實現互動。

fs.localfilesystem 

客戶端校驗和本地檔案系統

hdfs.distributionfilesystem    

hadoop分布式檔案系統

hdfs.hftpfilesystem  

支援http通過唯讀的方式訪問hdfs,distcp經常用到不同的hdfs集群間複製資料

hdfs.hsftpfilesystem 

支援https通過唯讀的方式訪問hdfs

fs.harfilesystem 

構建hadoop檔案系統之上,對檔案進行歸檔,hadoop歸檔檔案主要用來減少namenode的記憶體使用

fs.kfs.kosmosfilesystem 

cloudstore檔案系統類似於hdfs和google的gfs檔案系統,使用c++編寫

fs.ftp.ftpfilesystem 

由ftp伺服器支援的檔案系統

fs.s3native.natives3filesystem  

基於amazon的檔案系統

fs.s3natives3filesystem 

基於amazon的檔案系統,解決了5gb大小的限制

Hadoop 檔案系統(HDFS)

磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...

檔案系統介面

檔案系統介面 1.檔案概念 檔案是記錄在外存上的相關資訊的具有名稱的集合。通常檔案表示程式和資料。資料檔案可以是數字 字元 字元數字或二進位制。檔案可以是自由形式,如文字檔案,也可以是具有嚴格的格式。因此,檔案的概念極為廣泛。1.1檔案屬性 檔案有一定的屬性,這根據系統而有所不同,但是通常都包括如下...

HADOOP檔案系統API練習

合併本地檔案流到hdfs上 public static void write in.close out.close catch ioexception e 增刪改查 public static void hdfstest 列出根目錄下所有檔案和目錄 filestatus files hdfs.lis...