Hadoop的shell常用操作

1.啟動/關閉hadoop集群

2.檢視hdfs上的檔案和目錄

hadoop fs -

ls-r /

hadoop fs -mkdir -p /test/name

hadoop fs -put source(本地檔案路徑) dest(hdfs路徑)

hadoop fs -get source(hdfs路徑) dest(本地檔案路徑)

hadoop fs -

rm hdfs檔案路徑
hadoop fs -
rm-r hdfs目錄路徑

hadoop fs -

cat hdfs檔案路徑

hdfs dfsadmin -report

sbin/

start
-dfs.sh
sbin/
start
-yarn.sh

11.進hive服務

cd /opt/module/apache-hive-3.1.1-bin/

hadoop fs -

cp/aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

hadoop fs -

mv/aaa/jdk.tar.gz /

常用命令：

注意：以上**中對於路徑，包括hdfs中的路徑和linux中的路徑。對於容易產生歧義的地方，會特別指出「linux路徑」或者「hdfs路徑」。如果沒有明確指出，意味著是hdfs路徑。對hdfs操作的命令格式是hadoop fs +命令。

hadoop的shell常用命令

hadoop指令碼命令開始位置有兩種寫法 hadoop fs 和hdfs dfs,其中hdfs dfs為hadoop1中命令，在hadoop2和hadoop3中也可以用，hadoop fs為hadoop2和hadoop3中命令。以下文章中的中括號 表示為可選項，可加可不帶，中括號中字母或單詞有特殊功...

Hadoop 之shell常用命令

hdfs dfs ls 遞迴檢視目錄下的所有檔案包括子資料夾裡面的檔案 hdfs dfs ls r hdfs dfs mkdir test 級聯建立資料夾 hdfs dfs mkdir p test abc def hdfs dfs put a.txt hello 從本地剪下檔案到hdfs上 hdf...

pyspark dataframe的常用操作

1 列重新命名 train data train data.todf imei pkgname timestamp 2 刪除某一列 df df.drop col 3 選取某些列 train data train data.filter train data.date 2021 03 01 4 自定義...