大資料第十四周 Spark程式設計 RDD程式設計

2022-06-29 10:24:15 字數 1149 閱讀 1769

第十五周 spark程式設計基礎

啟動集群並檢查spark

~/spark-2.4.5/bin/spark-submit --class org.apache.spark.examples.sparkpi --master yarn-cluster ~/spark-2.4.5/examples/jars/spark-examples_2.11-2.4.5.jar

rdd建立

2.1    從檔案系統中載入資料建立rdd

2.1.1 從本地檔案系統中載入資料建立rdd

從分布式檔案系統hdfs中載入資料

通過並行集合(陣列)建立rdd

rdd操作

2.3.1 轉化操作

第十四周小結

這一周,我們分到了新的學習場地 609 我們組全員搬來了這裡。609在院裡被叫做 眾創空間 這裡不僅有著更好的學習條件,還存放著我們院裡的榮譽,一張一張的獎狀,還有精美的證書,讓我對信工院有了新的認識。同時,在日常生活中我也有一些自己的心得。一 執行力 結果很重要 之前 給我們在小組的所有成員開了乙...

第十四周總結

一.學習 今天很開心,因為我成功的做出了我人生的第乙個比較完整全面的頁面,雖然用的都是一些很簡單的 但那也是我花了乙個晚上做出來的,是我用這段時間所學的前端知識做出來的。雖然當時已經很晚了,但我絲毫感覺不到睡意,心中只有乙個目標,那就是今晚一定要完成它。或許對別人來說這不算什麼,但那張頁面被注入的精...

第十四周總結

又是新的一周,新的一周是新的起航,是夢的開始,每天的生活不需要過的多麼驚濤駭浪,只要我們是平平淡淡 腳踏實地 按照自己的追求走過的那就會有價值,就值得回憶。這周依舊平平淡淡,每天還是遵循自己的計畫一步步走過來的,最震撼的一件事就是我們搬到了609學習,可能是新環境的原因,這裡的學習氛圍相當好,條件也...