transformations型別的操作
action型別的操作
rdd中提供的cache()方法只是簡單的把該rdd放到cache列表中。當rdd的iterator被呼叫時，通過cachemanager把rdd計算出來，並儲存到blockmanager中，下次獲取該rdd的資料時便可直接通過cachemanager從blockmanager讀出。
如何設定spark.default.parallelism對使用者是乙個挑戰，它會很大程度上決定spark程式的效能。
RDD詳解課堂筆記
sc.textfile 裡面放路徑 這兩個都是建立乙個rdd sc.parallelize 裡面放集合 val arr arry 1 2,3 4,5 6,7 8,9 val rdd sc.parallelize arr rdd.partitions.length 這是檢視有幾個分割槽 用parall...
Spark工作原理和RDD
spark工作原理 第一步 client將spark程式提交到spark集群節點1 2 3上。第二步 每個節點從hdfs或者hive中讀取相應的資料。第三步 每個節點進行相應的迭代式計算。第四步 把計算結果儲存到指定的檔案系統中 hdfs hive mysql等。rdd及其特點 1.rdd是spar...
Spark工作原理及RDD
1.基於記憶體 2.迭代式計算 3.分布式 基本工作原理 將spark的程式提交到spark集群上，在hadoop的hdfs或者hive上讀取資料，讀取的資料存放在各個spark的節點上，分布式的存放在多個節點上，主要在每個節點的記憶體上，這樣可以加快速度。對節點的資料進行處理，處理後的資料存放在其...