hdfs常用命令：
注：以下執行命令均在spark安裝目錄的bin目錄下。
path 為路徑 src為檔案路徑 dist 為資料夾
1、-help[cmd] 顯示命令的幫助資訊
./hdfs dfs -help ls
1 2、-ls(r) 顯示當前目錄下的所有檔案 -r層層循出資料夾
./hdfs dfs -ls /log/map
./hdfs dfs -lsr /log/ (遞迴的)
1 2
3、-du(s) 顯示目錄中所有檔案大小,或者當只指定乙個檔案時，顯示此檔案的大小
./hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
1 4、-count[-q] 顯示當前目錄下的所有檔案大小
5、-mv 移動多個檔案目錄到目標目錄
./hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2
1 6、-cp 複製多個檔案到目標目錄
./hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 (將檔案從源路徑複製到目標路徑。
這個命令允許有多個源路徑，此時目標路徑必須是乙個目錄。)
1 2
7、-rm(r) 刪除檔案（夾）
./hdfs dfs -rmr /log/map1 (遞迴刪除)
1 8、-put 本地檔案複製到hdfs
./hdfs dfs -put test.txt /log/map/
1 9、-copyfromlocal 本地檔案複製到hdfs
./hdfs dfs -copyfromlocal /usr/data/text.txt /log/map1/ (將本地的text.txt 複製到hdfs的/log/map1/下)
1 10、-movefromlocal 本地檔案移動到hdfs
./hdfs dfs -movefromlocal /usr/data/text.txt /log/map1/ (將本地的text.txt移動到hdfs的/log/map1/下)
1 11、-get[-ignorecrc] 複製檔案到本地，可以忽略crc校驗
./hdfs dfs -get /log/map1/* . (複製到本地當前目錄下)
/hdfs dfs -get /log/map1/* /usr/data （將hdfs下的/log/map1/下的所有檔案全部複製到本地的/usr/data/下 ）
1 2
12、-getmerge[addnl] 將源目錄中的所有檔案排序合併到乙個檔案中，接受乙個源目錄和乙個目標檔案作為輸入，並且將源目錄中所有的檔案連線成本地目標檔案。addnl是可選的，用於指定在每個檔案結尾新增乙個換行符。
./hdfs dfs -cat /log/map1/part-00000 | head (讀取hdfs上的/log/map1下的part-00000檔案 head引數，代表前十行。)
/hdfs dfs -tail /log/map1/part-00000 (檢視檔案的最後一千行)
1 2
3 14、-text 在終端顯示檔案內容，將原始檔輸出為文字格式。允許的格式是zip和textrecordinputstream
15、-copytolocal[-ignorecrc] 複製檔案到本地
16、-movetolocal 移動檔案到本地
17、-mkdir 建立資料夾 後跟-p 可以建立不存在的父路徑
./hdfs dfs -mkdir -p /dir1/dir11/dir111
1 18、-touchz 建立乙個空檔案
19、-grep 從hdfs上過濾包含某個字元的行內容
./hdfs dfs -cat /log/testlog/* | grep 過濾字段
HDFS基本命令
hadoop的基本命令與linux命令很相似，這裡列舉一下基本的hdfs命令。命令基本格式 hadoop fs cmd args 但建議使用以下格式 hdfs dfs cmd args 1 ls 列出hdfs檔案系統根目錄下的目錄和檔案 hadoop fs ls 列出hdfs檔案系統所有的目錄和檔案...
HDFS基本命令fs的使用操作
2.hadoop fs mkdir 在hdfs檔案系統下的根路徑下建立乙個檔案 這個根目錄是獨立於虛擬機器的 3.hadoop fs ls 檢視檔案系統當前目錄下的檔案 4.hadoop fs rmdir 刪除資料夾 5.hadoop fs ls r 或者 hadoop fs lsr 遞迴顯示 目錄...
mysql基本命令總結 mysql基本命令總結
1.在ubuntu上安裝mysql sudo apt get install mysql server sudo apt get install mysql client 2.安裝結束後，用命令驗證是否安裝並啟動成功 sudo netstat tap grep mysql 通過上述命令檢查之後,如果...