第十五周 spark程式設計基礎
啟動集群並檢查spark
~/spark-2.4.5/bin/spark-submit --class org.apache.spark.examples.sparkpi --master yarn-cluster ~/spark-2.4.5/examples/jars/spark-examples_2.11-2.4.5.jar
rdd建立
2.1 從檔案系統中載入資料建立rdd
2.1.1 從本地檔案系統中載入資料建立rdd
從分布式檔案系統hdfs中載入資料
通過並行集合(陣列)建立rdd
rdd操作
2.3.1 轉化操作
第十四周小結
這一周,我們分到了新的學習場地 609 我們組全員搬來了這裡。609在院裡被叫做 眾創空間 這裡不僅有著更好的學習條件,還存放著我們院裡的榮譽,一張一張的獎狀,還有精美的證書,讓我對信工院有了新的認識。同時,在日常生活中我也有一些自己的心得。一 執行力 結果很重要 之前 給我們在小組的所有成員開了乙...
第十四周總結
一.學習 今天很開心,因為我成功的做出了我人生的第乙個比較完整全面的頁面,雖然用的都是一些很簡單的 但那也是我花了乙個晚上做出來的,是我用這段時間所學的前端知識做出來的。雖然當時已經很晚了,但我絲毫感覺不到睡意,心中只有乙個目標,那就是今晚一定要完成它。或許對別人來說這不算什麼,但那張頁面被注入的精...
第十四周總結
又是新的一周,新的一周是新的起航,是夢的開始,每天的生活不需要過的多麼驚濤駭浪,只要我們是平平淡淡 腳踏實地 按照自己的追求走過的那就會有價值,就值得回憶。這周依舊平平淡淡,每天還是遵循自己的計畫一步步走過來的,最震撼的一件事就是我們搬到了609學習,可能是新環境的原因,這裡的學習氛圍相當好,條件也...