今天就是踐行spark的安裝了。
安裝spark：
配置檔案spark-env.sh
驗證spark是否安裝成功。
grep 命令進行過濾。
下面是關於hdfs的命令：
上傳檔案
hdfs dfs -put src… dest (從本地的src位置上傳到hdfs的dest位置,src可以有多個,空格隔開)
複製檔案
hdfs dfs -copyfromlocal src… dest (複製檔案,從src位置複製到dest 位置,src可以有多個,空格隔開)
移動檔案(剪下)
hdfs dfs -movefromlocal src… dest (移動檔案,從src移動到dest位置)
建立新目錄
hdfs dfs -mkdir /test
hdfs dfs -mkdir -p /test/luo (級聯建立)
檢視檔案內容
hdfs dfs -cat /test/t1 (檢視/test資料夾下的t1檔案)
更改檔案的屬組
hdfs dfs -chgrp nb /test/t1 (把t1 檔案的屬組改為nb)
hdfs dfs -r -chgrp nb /test/t1 (遞迴修改)
更改檔案的許可權
hdfs dfs -chmod -r 777 /luo (/luo的許可權改為777)
更改檔案的屬主及屬組
hdfs dfs -chown -r luo:zzz /luo
將hdfs上的檔案複製到本地
hdfs dfs -copytolocal /t1 ./
檢視檔案系統的磁碟空間
hdfs dfs -df -h /
寒假學習進度
rdd依賴關係 1 rdd 血緣關係 val filerdd rdd string sc.textfile input 1.txt println filerdd.todebugstring println val wordrdd rdd string filerdd.flatmap split p...
寒假學習進度 4
python學習 不變的hello world coding utf 8 filename helloworld.py author by www.runoob.com 該例項輸出 hello world print hello world 運算子 usr bin python3 a 21b 10c...
寒假學習進度05
日期 2020.01.21 部落格期 129 星期二還是來說說近幾天的任務 1 爬蟲新進展 可以通過特殊手段來獲取html內容 對於有特殊跳轉fucntion的頁面需要特殊手段來解決 2 大資料實驗 1 7全部完成 這7個實驗雖然已經全部完成了，但是我覺得自己掌握的不夠。老師給我們提的要求絕對不會是...