hdfs的常用命令

2021-10-24 01:47:05 字數 1203 閱讀 8103

–檢視檔案大小

hdfs dfs -du -s -h /hbase/data/clzx_opr/rm_mktgroupinterest_info
–檢視最後5行

hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extract_sn/000012_0 | tail -5
–more方式檢視檔案

hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extract_sn/000012_0|more
–上傳檔案

hdfs dfs -put /tmp/ /hdfs/
隨機返回指定行數的樣本資料

–隨機返回5行樣本

hadoop fs -cat /path/txt | shuf -n 5
–返回前幾行的樣本資料

hadoop fs -cat /path/txt | head -100
–返回最後幾行的樣本資料

hadoop fs -cat /path/txt | tail -5
–檢視文字行數

hadoop fs -cat /path/txt | wc -l
檢視檔案大小（單位byte）

hadoop fs -du hdfs://path/txt


--檢視數量


hadoop fs -count hdfs://path/txt
–合併hdfs檔案到本地

hadoop fs -getmerge /user/hadoop/output local_file
–設定預設許可權

hadoop fs -setfacl -m default:group:clzx_opr:r-x /hbase/data/clzx_opr、
–遞迴新增所有許可權

hdfs dfs -setfacl -m -r group:hive:rwx /hbase/archive

HDFS常用命令

選項名稱 使用格式 含義 ls ls 路徑 檢視指定路徑的當前目錄結構 lsr lsr 路徑 遞迴檢視指定路徑的目錄結構 du du 路徑 統計目錄下個檔案大小 dus dus 路徑 匯 計目錄下檔案 夾 大小 count count q 路徑 統計檔案 夾 數量 mv mv 源路徑 目的路徑 移動...

HDFS常用命令

size medium hdfs 常用的檔案操作命令 1.cat 使用方法 hadoop fs cat uri 說明 將路徑指定的檔案輸出到螢幕 示例 hadoop fs cat hdfs host1 port1 file hadoop fs cat file file3 2.copyfromloc...

hdfs常用命令

hdfs檔案的相關操作主要使用hadoop fs hadoop dfs hdfs dfs 命令，以下對最常用的相關命令進行簡要說明。hadoop fs ls 顯示當前目錄結構，ls r 遞迴顯示目錄結構 hadoop fs mkdir 建立目錄 hadoop fs rm 刪除檔案，rm r 遞迴刪除...