1.從hdfs中讀取乙個檔案
val path =
"hdfs://master:9000/examples/examples/src/main/resources/people.txt"
val rdd1
= sc.textfile(path,
2)
從hdfs中讀取檔案的形式和本地上一樣，只是前面的路徑要表明是hdfs中的
2.檢視hdfs上的檔案：
hdfs dfs -ls /xj6500
3.在hdfs上建立目錄：
hdfs dfs -mkdir /xj6500/test
4.上傳hdfs檔案：
hdfs dfs -put /opt/spacewalk/inventory.txt /xj6500/test
5.刪除hdfs檔案：
hdfs dfs
-rm -r /user/hadoop/output
6.檢視hdfs預設服務+埠：
hdfs getconf -confkey fs.default.name
hadoop基本知識點之HDFS
1.hadoop組成 hadoop主要由三大模組組成 1.1 hdfs 儲存模組 1.2.yarn 資源調配模組 引擎 分布式資源管理框架 1.3.mapreduce 計算引擎 2.hdfs儲存模型 3.hdfs架構模型 4.1 基於記憶體儲存 4.2 namenode主要功能 接受客戶端的讀寫要求...
測試基礎 html基本知識
web就是world wide web 的縮寫，稱之為全球廣域網。俗稱www。可以認為是由多個網頁組合在一起而形成的一種服務。web前端就是來負責乙個 當中前台網頁裡的內容 定義 hypertext markup language 超文字標記語言。其中的超指的就是他能表達的內容不僅僅只是文字。htm...
測試基礎 html基本知識
web就是world wide web 的縮寫，稱之為全球廣域網。俗稱www。可以認為是由多個網頁組合在一起而形成的一種服務。web前端就是來負責乙個 當中前台網頁裡的內容 定義 hypertext markup language 超文字標記語言。其中的超指的就是他能表達的內容不僅僅只是文字。htm...