學習進度（8）

今天做了做實驗三。hadoop之前已經安裝好了，只需要安裝spark就可以了。

注意：spark進入命令行時輸入的是spark-shell，中間沒有空格！我沒看清，以為有個空格，結果一直提示沒有這個命令，又鼓搗了好長時間。

使用 hadoop 使用者名稱登入進入 linux 系統，啟動 hadoop，參照相關 hadoop 書籍或網路資料，或者也可以參考本教程官網的「實驗指南」欄目的「hdfs 操作常用 shell 命令」，使用 hadoop 提供的 shell 命令完成如下操作：

（1）啟動 hadoop，在 hdfs 中建立使用者目錄「/user/hadoop」；

（2）在 linux 系統的本地檔案系統的「/home/hadoop」目錄下新建乙個文字檔案test.txt，並在該檔案中隨便輸入一些內容，然後上傳到 hdfs 的「/user/hadoop」目錄下；

（4）將hdfs中「/user/hadoop」目錄下的test.txt檔案的內容輸出到終端中進行顯示；

（5）在 hdfs 中的「/user/hadoop」目錄下，建立子目錄 input，把 hdfs 中「/user/hadoop」目錄下的 test.txt 檔案，複製到「/user/hadoop/input」目錄下；

（6）刪除hdfs中「/user/hadoop」目錄下的test.txt檔案，刪除hdfs中「/user/hadoop」目錄下的 input 子目錄及其子目錄下的所有內容。

（1）在 spark-shell 中讀取 linux 系統本地檔案「/home/hadoop/test.txt」，然後統計出檔案的行數；

（2）在 spark-shell 中讀取 hdfs 系統檔案「/user/hadoop/test.txt」（如果該檔案不存在，請先建立），然後，統計出檔案的行數；

（3）編寫獨立應用程式，讀取 hdfs 系統檔案「/user/hadoop/test.txt」（如果該檔案不存在，請先建立），然後，統計出檔案的行數；通過 sbt 工具將整個應用程式編譯打包成 jar 包，並將生成的 jar 包通過 spark-submit 提交到 spark 中執行命令。

spark沒有配置好，訪問hdfs上的檔案提示拒絕連線。