作業四 1 RDD建立 2 RDD操作

2022-10-09 00:06:38 字數 1637 閱讀 3042

從本地檔案系統中載入資料建立rdd

圖1.1 檢視文字資訊

圖1.2 本地檔案載入資料

從hdfs載入資料建立rdd

# 啟動hdfs


start-all.sh


# 檢視hdfs檔案


hdfs dfs -ls 檢視的檔案目錄


圖2.1 啟動hdfs


# 上傳檔案到hdfs


hdfs dfs -put 本地檔案路徑 hdfs目的路徑


# 檢視hdfs檔案


hdfs dfs -cat 檔名稱


圖2.2 上傳/檢視檔案


# hdfs載入資料建立rdd


圖2.3 hdfs載入資料


圖2.4 檢視hdfs


# 停止hdfs


圖2.5 停止hdfs


通過並行集合（列表）建立rdd


圖3.1 列表/字串


圖3.2 生成陣列


轉換操作


圖1.1 顯式定義函式


圖1.2 lambda函式


圖1.1 顯式定義函式


圖1.2 lambda函式


行動操作


圖2.1 foreach(print)


圖2.2 collect()
				
作業四 1  RDD建立 2  RDD操作
一.rdd操作 1.從本地檔案系統中載入資料建立rdd lines sc.textfile file 檔案路徑 foreach print 2.從hdfs載入資料建立rdd 啟動hdfs start all.sh 檢視hdfs檔案 hdfs dfs ls 檢視的檔案目錄 上傳檔案到hdfs hdfs...

				
第四周作業1
第三章 1.完成課本每乙個程式設計題。要求先畫出流程演算法圖或n s圖，然後程式設計實現，有可能的話使用兩種以上方法 2.程式設計求 百錢百雞 問題。雞翁一值錢五，雞母 一值錢三，雞雛三值錢一。百錢買百雞，問雞翁 雞母 雞雛各幾何?3.程式設計輸入乙個整數，計算它是幾位數字，分別輸出每一位數字，並輸...

				
第四周作業2
設計乙個 正整數 類，並通過一系列的成員函式對其性質進行做出判斷或列出相關聯的數值。下面給出類宣告，請實現各成員函式。另外，模仿已經給出的main 函式，完成你所設計的各個成員函式的測試。includeusing namespace std class naturalnumber void main...