hadoop的檔案操作

hdfs操作的命令

使用方法，具體的操作可以檢視上面apache官網的詳細說明，一般使用的方式如下：

hdfs [shell_options] command [generic_options] [command_options]

hdfs檔案shell

這裡的使用hdfs的shell命令的格式：

hdfs dfs -command  file1 file2 ...

command的取值如下：

也可以由標準輸入（stdin）新增：

檢視檔案內容，和linux下的使用方法類似：

hadoop fs -cat hdfs: hdfs:

hadoop fs -cat file:///file3 /user/hadoop/file4

hadoop fs -checksum hdfs:

hadoop fs -checksum file:///etc/hosts

這三個命令的使用方法與linux完全類似，以chmod舉例：

hadoop fs -chmod -r 777 /user/hadoop/test

hadoop fs -copyfromlocal uri

從hdfs拷貝檔案到本地

hadoop fs -copytolocal [-ignorecrc] [-crc] uri

hadoop fs -lsr

上傳本地檔案到hdfs，和第乙個命令類似：

hadoop fs -put ...

hadoop fs -put localfile /user/hadoop/hadoopfile

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs:
hadoop fs -put - hdfs: #從標準輸入（stdin）讀入資料

hadoop fs -rmdir [--ignore-fail-on-non-empty] uri [uri ...]

--ignore-fail-on-non-empty選項，當使用萬用字元且目錄不為空，仍然可以執行。

遞迴刪除目錄檔案等價於hadoop fs -rm -r

hadoop fs -rmr [-skiptrash] uri [uri ...]

Hadoop 檔案操作常用的命令

hdfs fsck files blocks 列出檔案系統中各個檔案由哪些塊組成 hadoop fs ls 列出hdfs檔案的所有檔案，不遞迴目錄 hadoop fs lsr hadoop fs ls r 規範寫法 遞迴檢視指定目錄下的所有內容 hadoop fs cp dir01 1.txt di...

使用java api操作Hadoop檔案

1.概述 2.檔案操作 2.1 上傳本地檔案到hadoop fs 2.2 在hadoop fs中新建檔案，並寫入 2.3 刪除hadoop fs上的檔案 2.4 讀取檔案 3.目錄操作 3.1 在hadoop fs上建立目錄 3.2 刪除目錄 3.3 讀取某個目錄下的所有檔案 hadoop中關於檔案...

使用java api操作Hadoop檔案

hadoop中關於檔案操作類基本上全部是在org.apache.hadoop.fs包中，這些api能夠支援的操作包含 開啟檔案，讀寫檔案，刪除檔案等。hadoop類庫中最終面向使用者提供的介面類是filesystem，該類是個抽象類，只能通過來類的get方法得到具體類。get方法存在幾個過載版本，常...