實驗3 spark讀取檔案系統的資料
1.在spark-shell中讀取linux系統本地檔案「/home/hadoop/test.txt」，然後統計出檔案的行數
2.在spark-shell中讀取hdfs系統檔案「/user/hadoop/test.txt」（如果該檔案不存在，請先建立），然後，統計出檔案的行數
3.編寫獨立應用程式，讀取hdfs系統檔案「/user/hadoop/test.txt」（如果該檔案不存在，請先建立），然後，統計出檔案的行數；通過sbt工具將整個應用程式編譯打包成 jar包，並將生成的jar包通過 spark-submit 提交到 spark 中執行命令。
2020寒假學習筆記03
實驗內容如下 請用指令碼的方式程式設計計算並輸出下列級數的前 n 項之和 sn，直到 sn 剛好大於或等於 q 為止，其中 q 為大於 0 的整數，其值通過鍵盤輸入 例如，若 q 的值為 50.0，則輸出應為 sn 50.416695。在 repl模式下測試執行，測試樣例 q 1時，sn 2 q 3...
寒假學習記錄12
寒假學習記錄12 學習任務 1.python基礎 1 dict python內建了字典 dict的支援，dict全稱dictionary，在其他語言中也稱為map，使用鍵 值 key value 儲存，具有極快的查詢速度。把資料放入dict的方法，除了初始化時指定外，還可以通過key放入，由於乙個k...
寒假學習記錄07
寒假學習記錄07 1 掌握 linux 虛擬機器的安裝方法。spark 和 hadoop 等大資料軟體在 linux 作業系統上執行可以發揮最佳效能，因此，本教程中，spark 都是在 linux 系統中進行相關操作，同時，下一章的 scala 語言也會在 linux 系統中安裝和操作。鑑於目前很多...