HDFS操作常用的Shell命令

2021-09-29 15:35:14 字數 1053 閱讀 8125

hadoop fs -copyfromlocal uri

-f 如果檔案存在,則覆蓋

從本地檔案系統考貝到集群上

將乙個本地檔案系統的原始檔或多個原始檔追加到目標檔案系統

hadoop fs -copytolocal [-ignorecrc] [-crc] uri

-ignorecrc 選項複製crc校驗失敗的文 件

-crc 選項複製檔案以及crc資訊。

將集群檔案拷貝到本地檔案系統

將指定uri的內容用標準輸出stdout輸出

hadoop fs -ls [-d] [-h] [-r] [-t] [-s] [-r] [-u]

-d: 像普通檔案一樣列出來。

-h: 用更直觀的方式顯示檔案大小 (例如 64.0m 替代 67108864).

-r: 遞迴子目錄列表。

-t: 按修改時間排序(最近一次排第一)

-s: 按輸出的檔案大小排序

-r: 反向排序

-u: 使用訪問時間而不是顯示和排序的時間。

hadoop fs -mkdir [-p]

以uri作為路徑,建立目錄

從原始檔拷貝到目標檔案

HDFS的常用Shell操作

0 啟動hadoop集群 sbin start dfs.sh sbin start yarn.sh 1 help 輸出這個命令引數 hadoop fs help rm 2 ls 顯示目錄資訊 hadoop fs ls 3 mkdir 在hdfs上建立目錄 hadoop fs mkdir p sang...

HDFS的shell常用操作指令

1.啟動相關 啟動zookeeper zkserver.sh start 啟動hdfs 不管在集群中的那個節點都可以 start dfs.sh 啟動yarn 只能在yarn主節點中進行啟動 hadoop fs ls r 級聯遞迴的方式展示,相當於展示下面的所有資料夾 hadoop fs mkdir ...

HDFS的常用shell命令

在hdfs的學習中,除了筆者第一篇的api操作之外,同樣的,hdfs的shell操作也是必須要掌握的。下面,筆者就整理出了一些常用的shell命名,希望能夠給讀者帶來些許幫助。在剛開始學習hdfs的時候,大家可以通過hadoop fs這個命令,來檢視hdfs的所有命令,然後就會全部顯示出來,如下圖所...