1.rdd 的介紹
rdd是spark的核心概念，可以將rdd是做資料庫中的一張表，rdd可以儲存任何型別的資料，可以用api來處理rdd及rdd中的資料，類似於mapreduce， rdd 也有分割槽的概念。rdd是不可變的可以變換（transformation）操作rdd，但是這個變換返回的是乙個全新的rdd，原先的rdd保持不變
2.rdd的兩種操作 transformation 和 action
transformation 變換，變換的返回值是乙個新的rdd集合，而不是單個值呼叫乙個變換方法，不會有任何求職計算，它只獲取乙個rdd作為引數，返回乙個全新的rdd，變換函式包括，map、filter、flatmap、groupbykey、reducebykey、aggregatebykay、pipe、coalesce等
action 行動，行動操作計算並返回乙個新的值，當在rdd中操作乙個行動函式時，會在這一刻計算全部的資料處理和查詢，並返回所有的結果，行動操作包括，redeuce、collect、count、first、take、countbykey、foreach等
Spark 核心 RDD 剖析（上）
本文將通過描述 spark rdd 的五大核心要素來描述 rdd，若希望更全面了解 rdd 的知識，請移步 rdd rdd 基於記憶體的集群計算容錯抽象 spark 的五大核心要素包括 下面一一來介紹 rdd 由若干個 partition 組成，共有三種生成方式 那麼，在使用上述方法生成 rdd 的...
spark底層核心 RDD詳解
spark底層核心rdd 是什麼？彈性分布式資料集 簡單點就理解成乙個list集合 rdd 1，2，3 有什麼屬性？用idea中注釋的話來解釋有5大屬性 1 乙個分割槽列表，資料集的基本組成單位 rdd以分割槽為單位，乙個分割槽乙個task任務來處理執行，可以在建立rdd時指定rdd的分割槽個數，如...
Spark核心程式設計 RDD的實現和程式設計介面
說明 本文參考郭景瞻的 spark 核心技術與案例實戰 當對rdd執行 轉換操作 時，排程器 dgascheduler 會根據rdd的血統來構建由若干排程階段 state 組成的有向無環圖 dag 每個排程階段包含盡可能多的連續 窄依賴 轉換。排程器按照有向無環圖順序進行計算，並最終得到目標rdd。...