列出hadoop中當前使用者的資料目錄
[root@localhost bin]# ./hdfs dfs -ls
found 2 items
drwxr-xr-x - root supergroup 0 2019-01-25 15:24 input1
drwxr-xr-x - root supergroup 0 2019-01-25 15:26 output
列出hadoop中根目錄下的內容
[root@localhost bin]# ./hdfs dfs -ls /
found 1 items
drwxr-xr-x - root supergroup 0 2019-01-25 15:20 /user
列出/user目錄下的內容
[root@localhost bin]# ./hdfs dfs -ls /user
found 1 items
drwxr-xr-x - root supergroup 0 2019-01-25 15:26 /user/root
列出/user/root下面的內容
[root@localhost bin]# ./hdfs dfs -ls /user/root
found 2 items
drwxr-xr-x - root supergroup 0 2019-01-25 15:24 /user/root/input1
drwxr-xr-x - root supergroup 0 2019-01-25 15:26 /user/root/output
使用url格式訪問namenode
[root@localhost bin]# ./hdfs dfs -ls hdfs://localhost:9000/
found 1 items
drwxr-xr-x - root supergroup 0 2019-01-25 15:20 hdfs://localhost:9000/user
[root@localhost bin]# ./hdfs dfs -ls hdfs://localhost:9000/user
found 1 items
drwxr-xr-x - root supergroup 0 2019-01-25 15:26 hdfs://localhost:9000/user/root
在當前使用者目錄下建立目錄demo
[root@localhost bin]# ./hdfs dfs -mkdir demo
[root@localhost bin]# ./hdfs dfs -ls -r /
drwxr-xr-x - root supergroup 0 2019-01-25 15:20 /user
drwxr-xr-x - root supergroup 0 2019-01-29 08:58 /user/root
drwxr-xr-x - root supergroup 0 2019-01-29 08:58 /user/root/demo…
建立檔案demo/test.txt
[root@localhost bin]# ./hdfs dfs -touch demo/test.txt
[root@localhost bin]# ./hdfs dfs -ls -r
drwxr-xr-x - root supergroup 0 2019-01-29 09:08 demo
-rw-r–r-- 1 root supergroup 0 2019-01-29 09:08 demo/test.txt
將本地檔案test.txt拷貝到demo/d.txt檔案中
[root@localhost bin]# ./hdfs dfs -copyfromlocal test.txt demo/d.txt
檢視hdfs中的檔案 demo/d.txt
[root@localhost bin]# ./hdfs dfs -cat demo/d.txt
this is a deno
將本地檔案a上傳到demo/abc
[root@localhost bin]# ./hdfs dfs -put a demo/abc
[root@localhost bin]# ./hdfs dfs -cat demo/abc
this is another demo,i』m xiaoming,who are you?
將hdfs上的檔案移動(重新命名)
[root@localhost bin]# ./hdfs dfs -mv demo/abc demo/cde
將hdfs上的檔案複製乙份
[root@localhost bin]# ./hdfs dfs -cp demo/cde demo/ok
將本地目錄d上傳到hdfs中
[root@localhost bin]# ./hdfs dfs -copyfromlocal d demo/d
[root@localhost bin]# ./hdfs dfs -ls -r demo
-rw-r–r-- 1 root supergroup 47 2019-01-29 09:20 demo/cde
drwxr-xr-x - root supergroup 0 2019-01-29 09:28 demo/d
drwxr-xr-x - root supergroup 0 2019-01-29 09:28 demo/d/j
-rw-r–r-- 1 root supergroup 5 2019-01-29 09:28 demo/d/j/y
-rw-r–r-- 1 root supergroup 3 2019-01-29 09:28 demo/d/ok
-rw-r–r-- 1 root supergroup 3 2019-01-29 09:28 demo/d/p
-rw-r–r-- 1 root supergroup 15 2019-01-29 09:17 demo/d.txt
-rw-r–r-- 1 root supergroup 47 2019-01-29 09:24 demo/ok
-rw-r–r-- 1 root supergroup 0 2019-01-29 09:08 demo/test.txt
使用put命令將本地目錄d上傳到hdfs中
[root@localhost bin]# ./hdfs dfs -put d k
[root@localhost bin]# ./hdfs dfs -ls -r k
drwxr-xr-x - root supergroup 0 2019-01-29 09:29 k/j
-rw-r–r-- 1 root supergroup 5 2019-01-29 09:29 k/j/y
-rw-r–r-- 1 root supergroup 3 2019-01-29 09:29 k/ok
-rw-r–r-- 1 root supergroup 3 2019-01-29 09:29 k/p
將hdfs中的檔案拷貝到本地
[root@localhost bin]# ./hdfs dfs -get k dd
[root@localhost bin]# ls dd -r
dd:j ok p
dd/j:
y使用copytolocal命令將檔案拷貝到本地
[root@localhost bin]# ./hdfs dfs -copytolocal k ddd
刪除hdfs中的檔案
[root@localhost bin]# ./hdfs dfs -rm demo/cde
deleted demo/cde
或./hdfs dfs -rm -r demo/cde
刪除hdfs中的目錄
[root@localhost bin]# ./hdfs dfs -rm -r k
deleted k
Hadoop筆記六之Hdfs的基本shell操作
使用hfds dfs 和hadoop fs來操作檔案這兩者一樣，命令格式為hadoop fs ls dfhs shb01 9000 也可以使用hadoop fs ls 表示當前根目錄和dfhs shb01 9000 一樣。hdfs是hadoop本身的協議，hdfs本身沒有許可權它借用的是linux許...
hadoop的HDFS檔案儲存
1 什麼是hdfs?hdfs適合做 儲存大檔案。上g t甚至p。一次寫入，多次讀取。並且每次作業都要讀取大部分的資料。搭建在普通商業機群上就可以了。雖然會經常宕機，但hdfs有良好的容錯機制。hdfs不適合做 實時資料獲取。如果有這個需求可以用hbase。很多小檔案。因為namenode要儲存hdf...
hadoop之HDFS的擴充
最近在vm中進行擴容之後考慮，openstack的容量新增，隨之想起hdfs的容量擴充的問題，從網上查詢資料之後，現總結如下 首先在伺服器上大都使用的linux的系統，實驗上大都採用的是centos開源的專案。在linux中新增硬碟時，需要考慮的是容量，但是隨著硬體資源的擴充套件現在磁碟的容量可鞥會...